Principe de fonctionnement

Apache Edgent désigne un environnement d'exécution embarqué léger et une API Java permettant d'effectuer des traitements analytiques et des opérations de transformation sur des flux de données au plus près des objets distants (directement sur l'objet connecté ou sur leur passerelle de connexion).

Son principal intérêt est de donner la possibilité programmatique d'extraire très en amont l'information pertinente de la masse de données collectées, ce qui présente l'avantage de réduire considérablement la quantité d'informations échangées au travers du réseau et à destination de systèmes de stockage persistant.

Apache Edgent transforme ainsi un mode récurrent de collecte d'informations de type "heart beat polling" en un véritable système événementiel orienté autour des seules informations présentant une utilité informationnelle pour des traitements ultérieurs.

Les flux de données résultats des transformations Edgent sont ensuite transmises via des connecteurs à des applications en sortie qui peuvent être un serveur MQTT, une connexion JDBC, un fichier, un cluster Kafka ou un message hub de type IBM Watson IoT Platform (1).

Environnements de déploiement

Java 8 (incluant Raspberry Pi B et Pi2 B) / Java 7 / Android

Structure d'une application Edgent

Etape 1 déclarative préalable

1> Instanciation d'un environnement principal d'exécution de type org.apache.edgent.providers.direct.DirectProvider :

  DirectProvider dp = new DirectProvider();

2> Définition d'une configuration générale ou "topologie" avec org.apache.edgent.topology.Topology :

  Topology top = dp.newTopology();

3> Les fournisseurs des flux données tels que les capteurs sont définis avec l'interface org.apache.edgent.function.Supplier<T>

4> Définition de politiques de collecte des flux de données depuis les capteurs au niveau de la configuration générale.
L'instruction suivante permet par exemple de définir la collecte de mesures du capteur sensor à chaque milliseconde.

  TStream<Double> tempReadings = topology.poll(sensor, 1, TimeUnit.MILLISECONDS);

Etape 2 de mise en route

Une fois entièrement définie, la mise en route de l'application se fait au travers de l'instruction suivante :

  dp.submit(topology);

Opérations sur les flux de données

Les flux de données sont instantiés avec la classe org.apache.edgent.topology.TStream<T> où T désigne le type générique du tuple de données collectées.

Un pipeline de traitements en chaîne est ensuite appliqué à ces flux de données pour produire de nouveaux flux de données avec pour traitements possibles :

Règles de filtre

L'instruction suivante permet par exemple de réduire un flux de données à un flux filtré aux seules valeurs 'exeptionnelles' (<50 ou >80)

  TStream<Double> ts2 = ts1.filter(reading -> reading < 50 || reading > 80);

Autres règles de transformation et d'opération analytique

Le type de donnée peut être modifié avec l'instruction nmap(). Tout un ensemble d'opérateurs analytique d'agrégation, d'union, de répartition peuvent également être utilisés (2).

Parallélisation des règles

Il est possible de parallèliser les traitements comme l'indique l'instruction suivante :

                             |-> A2-channel0 ->|
  sensorReadings<T> -> A1 -> |-> A2-channel1 ->| -> A3 -> results<R>
                             |-> A2-channel2 ->|

Définition de fenêtres temporelles

Il est possible de définir des fenêtres temporelles sur les flux de données (ici les données extraites lors des 5 dernières secondes)

  TWindow<Integer> window = stream.last(5, TimeUnit.SECONDS, tuple -> 0);

Origine du projet

Apache Edgent est désormais un projet open source de type Apache Incubator (3).
Il est l'héritier de Quarks développé par IBM jusqu'en juillet 2016 (4).