Principe de fonctionnement

Apache Edgent désigne un environnement d'exécution embarqué léger et une API Java permettant d'effectuer des traitements analytiques et des opérations de transformation sur des flux de données au plus près des objets distants (directement sur l'objet connecté ou sur leur passerelle de connexion).

Son principal intérêt est de donner la possibilité programmatique d'extraire très en amont l'information pertinente de la masse de données collectées, ce qui présente l'avantage de réduire considérablement la quantité d'informations échangées au travers du réseau et à destination de systèmes de stockage persistant.

Apache Edgent transforme ainsi un mode récurrent de collecte d'informations de type "heart beat polling" en un véritable système événementiel orienté autour des seules informations présentant une utilité informationnelle pour des traitements ultérieurs.

Les flux de données résultats des transformations Edgent sont ensuite transmises via des connecteurs à des applications en sortie qui peuvent être un serveur MQTT, une connexion JDBC, un fichier, un cluster Kafka ou un message hub de type IBM Watson IoT Platform (1).

Environnements de déploiement

Java 8 (incluant Raspberry Pi B et Pi2 B) / Java 7 / Android

Structure d'une application Edgent

Une application Edgent comprend deux étapes :

Etape 1 déclarative préalable

1> l'instanciation d'un environnement principal d'exécution de type org.apache.edgent.providers.direct.DirectProvider :

  DirectProvider dp = new DirectProvider();

2> la définition d'une configuration générale ou "topologie" avec l'instantiation de la classe org.apache.edgent.topology.Topology :

  Topology top = dp.newTopology();

3> Les fournisseurs des flux données tels que les capteurs sont définis au travers d'une implémententation de l'interface org.apache.edgent.function.Supplier<T>

4> des politiques de collecte des flux de données depuis les capteurs sont ensuite définies au niveau de la configuration générale. L'instruction suivante permet par exemple de définir un flux de données à partir de la collecte de mesures du capteur "sensor" à chaque milliseconde.

  TStream<Double> tempReadings = topology.poll(sensor, 1, TimeUnit.MILLISECONDS);

Etape 2 : mise en route

Une fois entièrement définie, l'étape de mise en route de l'application se fait au travers de l'instruction suivante :

  dp.submit(topology);

Opérations sur les flux de données

Les flux de données sont instantiés avec la classe org.apache.edgent.topology.TStream<T> où T désigne le type générique du tuple de données collectées.

Un pipeline de traitements en chaîne est ensuite appliqué à ces flux de données pour produire de nouveaux flux de données avec pour traitements possibles :

des règles de filtre

L'instruction suivante permet par exemple de réduire un flux de données à un flux filtré aux seules valeurs 'exeptionnelles' (<50 ou >80)

  TStream<Double> ts2 = ts1.filter(reading -> reading < 50 || reading > 80);

des règle de transmutation

Le type de donnée peut être modifié avec l'instruction nmap(). Il est possible de définir des variables persistantes.

  File:Map Stateful.jpg

parallélisation des règles

Il est possible de parallèliser les traitements comme l'indique l'instruction suivante :

                             |-> A2-channel0 ->|
  sensorReadings<T> -> A1 -> |-> A2-channel1 ->| -> A3 -> results<R>
                             |-> A2-channel2 ->|
                             |-> A2-channel3 ->|
                             |-> A2-channel4 ->|

Origine du projet

Apache Edgent est désormais un projet open source de type Apache Incubator (http://incubator.apache.org/).
Il est l'héritier de Quarks développé par IBM jusqu'en juillet 2016 (https://developer.ibm.com/open/openprojects/apache-edgent/).