VT2019 Huginn

Logo de Huginn

Abstract

Huginn is a software that allows you to create or import agents whose role will be to collect different data from the web. In addition to retrieving all this data, they can analyze and transform it in certain forms. And possibly perform different actions related to this data (e.g. send me an email when it is going to be cold or post a tweet for me to thank my new followers). Huginn's name comes from Nordic mythology and is more particularly the name of one of the ravens that Odin sent to collect as much information as possible.

• Keywords: Huginn, monitor, agents, data, events, OpenSource

Surveillance informatique (Monitoring)

Le monitoring de sites web consiste à vérifier la disponibilité (monitoring traditionnel) et la navigabilité (monitoring scénarisé) des sites webs.

Les objectifs du monitoring selon Huginn est d’automatiser les tâches répétitives qui nous font perdre du temps, obtenir des informations plus facilement en préconfigurant le chemin d’accès et surtout ne manquer aucune information qui nous intéresse.

Exemple d'interface de monitoring avec UpTrends

Huginn, un outil de veille et d'automatisation

Qu'est-ce que Huginn ?

Huginn est un projet participatif Open Source créé par Andrew Cantino sous licence MIT. Il a été développé suite à la disparition de l’outil Yahoo Pipes et est un outil de monitoring (surveillance de site web). Sa particularité est que nos données sont confidentielles et la communauté GitHub très actif dans son développement.

Utilité

Le but de Huginn est de récolter et traiter des flux de données. Ainsi on peut automatiser nos activités régulières sur Internet afin de gagner du temps dans la journée. Ce qui est intéressant c’est qu’on n’est pas restreint à consulter des sites web vitrines, on peut se connecter à des services en ligne et ensuite réaliser des actions. Une autre fonctionnalité est l’alerte de pics d’activité ce qui permet de mieux gérer des périodes de crises ou être avertie en cas d’activité extraordinaire. Pour finir la surveillance de site web permet de guetter les meilleures opportunités telles que des promotions par exemple.

Alerte mail venant d'Huginn

Exemples d'utilisation

• Suivez la météo et recevez un email quand il va pleuvoir.
• Surveillez les voyages en avion et alertez lorsque le prix d’un vol est bon marché.
• Suivez vos projets sur Twitter et recevez des mises à jour lorsque les gens les mentionnent.
• Surveillez vos sites Web préférés et recevez des emails lorsqu'ils changent.
• Envoyez automatiquement un message à vos amis pour leur souhaiter un joyeux anniversaire.
• Envoyer un SMS d’alerte quand les mots-clefs "urgence Grenoble" ont un pic d’activité sur les réseaux sociaux.

Fonctionnement

Les agents

Dans Huginn, les agents sont les principaux acteurs de l'application et fonctionnent comme de petits robots chacun spécialisé pour une tâche. Ils permettent de récolter, traiter, analyser et transmettre les différentes données qui transitent sur le web et que l'utilisateur à choisi de suivre. Ils peuvent être directement programmés par l'utilisateur en fonction de besoins particuliers ou récupérés auprès de la communauté et adaptés à l'utilisation que veut en faire l'utilisateur.

Récolte des données

Il existe des agents spécialisés dans la récolte des données. Ces derniers peuvent, par exemple, avoir pour rôle d'analyser un flux RSS ou un stream de données Twitter. Une fois les données récoltées par les agents, elles sont enregistrées sous forme d'événements et stockées en base de données pour que l'utilisateur puisse en faire ce qu'il veut.

Transformation, analyse et transmission des données

Après la récolte des données, d'autres agents peuvent agir, certains seront notamment spécialisés dans la transformation des événements. Ils pourront être amenés à les trier, les faire passer certaines contraintes avant analyse, etc.

La phase d'analyse permet à l'utilisateur d'étudier les données qu'il a récolté, il peut donc choisir de mettre en forme ces données sous plusieurs formes qui permettront une analyse efficace par le biais d'agents spécialisés pour cette tâche.

Plusieurs agents sont, en plus de cela, spécialisés dans la transmission des données récoltées, transformées et/ou analysées via des mails ou un nouveau flux RSS.

Présentation des agents sur Huginn

Avantages

• Huginn est Open Source et sous licence MIT, c'est donc un gros projet collaboratif avec environ 200 contributeurs dont le code peut être modifié, redistribué, ...
• Les données qui transitent par Huginn sont confidentielles, l'utilisateur gère ses données et elles ne passent pas par des logiciels qui ne lui appartiennent pas.
• En ce qui concerne les agents, l'utilisateur peut choisir de les créer lui-même ou de récupérer ceux de la communauté. Il peut donc s'éviter de programmer ou au contraire réaliser un développement qui conviendra parfaitement à ses attentes.
• Huginn est assez facile d'utilisation lorsque que l'on utilise des agents fournis par la communauté car l'on a pas besoin de coder mais juste de paramétrer les agents.

Inconvénients

• Pour être lancé, Huginn nécessite un serveur, il faut donc avoir les ressources disponibles et les compétences pour ce faire.
• Huginn a beau être facile d'utilisation, il reste tout de même assez compliqué à prendre en main et à déployer lorsque l'on n'est pas familier avec ces notions.
• Il est dur de trouver de la documentation sur Huginn mis à part celle présente sur le git source qui n'est pas toujours très claire.

Les concurrents de Huginn

Il existe de nombreux logiciels permettant d'offrir des solutions dans le domaine de la veille et du monitoring. Cependant, nous avons choisi de nous pencher sur trois des principaux concurrents de Huginn dans cette partie, à savoir IFTTT, Zapier et Talkwalker.

Si vous voulez retrouver une liste assez complète des alternatives à Huginn, vous pouvez suivre ce lien.

Logo de IFTTT

IFTTT

IFTTT est l’acronyme de « IF This Then That », ce qui représente bien l’esprit du monitoring de sites web. Le concept de IFTTT est d’être très simple d’utilisation en configurant des instructions basiques mais en les mettant à la chaîne, on peut faire ce qu’on veut des flux de données récupérés. Ses fonctionnalitées et applications sont semblables par rapport à Huginn mais IFTTT est plus accessible pour des non-programmeurs surtout pendant la phase d’installation. Le plus important point négatif par rapport à Huginn est qu’on “confie” nos données à l’entreprise et qu’on ne sait pas ce qu’il se passe dans le système vu que le code n’est pas Open Source.

Logo de Zapier

Zapier

Zapier est un concurrent direct de Huginn et IFTTT. Il est sensé être encore plus simple d’utilisation que les deux autres mais offre moins de liberté. On ne peut paramètrer que les agents déjà créer et on ne peut pas programmer nos propres agents.

Logo de Talkwalker

Talkwalker

Talkwalker est plutôt spécialisée dans le monitoring des réseaux sociaux et est principalement dédiée aux entreprises qui veulent suivre l’évolution de la réputation de leur marque. L’application permet d’analyser si les internautes font des commentaires positifs ou négatifs concernant l’entreprise. Talkwalker se démarque des autres grâce à leur analyse d’images pour filtre les flux de données en plus des mots-clefs. Elle permet également de suivre l’évolution des concurrents.

Démonstration

Vous pouvez trouver le code utilisé lors de la démonstration à cette adresse.

Il faut bien suivre les informations de lancement pour que la démo fonctionne et il faudra reconfigurer les agents suivant vos besoins pour utiliser Huginn (modification de la fréquence de lancement de l'agent, ...).

Sources

• https://github.com/huginn/huginn - Dépôt GIT Huginn principal
• https://github.com/huginn/huginn_agent - Dépôt GIT pour la création d'agents avec Huginn
• https://portail-ie.fr/analysis/1395/huginn-loutil-open-source-de-veille-et-dautomatisation-de-taches-connectees?fbclid=IwAR1F-sfcXR2JAbfhSkKCVUmTzaRQEjNAiAPdUB32gH79Kw7gx2hwzKH5Pwo - Article de Albert de Mereuil sur Huginn
• https://www.slideshare.net/Projet_Cellie/tutoriel-installer-et-utiliser-huginn-outil-de-veille-open-source?fbclid=IwAR1-sMsF_obsLrZGLuIfGT08Uf6MDaO2Y4Bi7u9zykQpYDJmw1X2eNn0dH0 - Aide à la configuration de Huginn
• https://vimeo.com/61976251 - Rapide présentation en vidéo de Huginn par Andrew Cantino
• https://fr.wikipedia.org/wiki/IFTTT - Page wikipédia de IFTTT
• https://en.wikipedia.org/wiki/Zapier - Page wikipédia de Zapier
• https://www.talkwalker.com/fr?gclid=Cj0KCQiA89zvBRDoARIsAOIePbDszZwkZY07ICA_3aM3TFCN1uMQucigTMH15R-Mm5npfk_cdNXAUbIaAqZ-EALw_wcB - Site web de Talkwalker

VT2019

• Année : VT2019
• Sujet : Huginn
• Slides : Diaporama en PDF
• Démonstration : https://github.com/EvaBardou/huginn
• Auteurs : Eva BARDOU, Xavier DEVOS