VT2015 Kibana Logstash - Revision history

Donsez: /* Conclusion */

2015-10-09T14:13:49Z

Conclusion

← Older revision		Revision as of 14:13, 9 October 2015
Line 85:		Line 85:
	L'interface ne demande pas de coder. En effet l'outil est un WYSIWYG (what you see is what you get). Dès lors, un développeur comme un manager peut manipuler Kibana. Le déplacement se fait simplement par glisser déposer, tandis que le redimensionnement se fait de même que sur les systèmes de fenêtre.		L'interface ne demande pas de coder. En effet l'outil est un WYSIWYG (what you see is what you get). Dès lors, un développeur comme un manager peut manipuler Kibana. Le déplacement se fait simplement par glisser déposer, tandis que le redimensionnement se fait de même que sur les systèmes de fenêtre.
	[[File:kibana.png\|700px\|center]]		[[File:kibana.png\|700px\|center]]

			===Compétiteurs===
			* https://www.graylog.org (open source)
			* https://www.datadoghq.com (Cloud en mode SaaS)

	===Conclusion===		===Conclusion===

Vivien.Michel: /* Conclusion */

2015-10-09T09:56:29Z

Conclusion

← Older revision		Revision as of 09:56, 9 October 2015
Line 88:		Line 88:
	===Conclusion===		===Conclusion===

	La chaine de ces trois logiciels offre un outil de visualisation puissant et flexible. De part son aspect open source, un développeur peut modifier chacun des trois programmes selon ses besoins. La communauté autour de ce projet est conséquente, il est donc facile de trouver des tutoriels ou des plugins associés à chacun d'eux.		La chaine de ces trois logiciels offre un outil de visualisation puissant et flexible. De part son aspect open source, un développeur peut modifier chacun des trois programmes selon ses besoins. La communauté autour de ce projet est conséquente, il est donc facile de trouver des tutoriels ou des plugins associés à chacun d'eux. De plus, Logstash et la base de donnée Elastic Search sont indépendants même s'ils sont optimisés pour travailler ensemble.
	Les systèmes originaux connaissent aussi un développement actif. En effet, les mises à jour du dépôt git sont journalières.		Les systèmes originaux connaissent aussi un développement actif. En effet, les mises à jour du dépôt git sont journalières.
	Les logiciels Logstash et Elastic Search peuvent être temps réel, propriété que n'a pas (encore) le tableau de bord Kibana.		Les logiciels Logstash et Elastic Search peuvent être temps réel, propriété que n'a pas (encore) le tableau de bord Kibana.

	Ainsi lorsque de grandes quantités de données sont à traiter, un système tel que Logstash/Elastic Search/Kibana devient essentiel pour le développement et l'amélioration du service.		Ainsi lorsque de grandes quantités de données sont à traiter, un système tel que Logstash/Elastic Search/Kibana devient essentiel pour le développement et l'amélioration du service.

Vivien.Michel: /* Insertion des Graphiques dans le tableau de bord */

2015-10-09T09:53:36Z

Insertion des Graphiques dans le tableau de bord

← Older revision		Revision as of 09:53, 9 October 2015
Line 83:		Line 83:
	C'est à la charge de l'utilisateur de correctement placer les graphiques, afin d'obtenir une visualisation pertinente des données. Tout comme pour la création de graphiques, il n'y a pas d'outil de correction, ni de conseil pour le placement des "visualisations" dans le tableau de bord.		C'est à la charge de l'utilisateur de correctement placer les graphiques, afin d'obtenir une visualisation pertinente des données. Tout comme pour la création de graphiques, il n'y a pas d'outil de correction, ni de conseil pour le placement des "visualisations" dans le tableau de bord.

	L'interface ne demande pas de coder. En effet l'outil est un WYSIWYG (what you see is what you get). Dès lors, un développeur comme un manager peut manipuler Kibana. Le déplacement se fait simplement par glisser déposer, tandis que le redimensionnement se fait de même que sur les systèmes de ~~fenêtres~~.		L'interface ne demande pas de coder. En effet l'outil est un WYSIWYG (what you see is what you get). Dès lors, un développeur comme un manager peut manipuler Kibana. Le déplacement se fait simplement par glisser déposer, tandis que le redimensionnement se fait de même que sur les systèmes de fenêtre.
	[[File:kibana.png\|700px\|center]]		[[File:kibana.png\|700px\|center]]

Vivien.Michel: /* Création de Visualisation */

2015-10-09T09:52:23Z

Création de Visualisation

← Older revision		Revision as of 09:52, 9 October 2015
Line 74:		Line 74:
	====Création de Visualisation====		====Création de Visualisation====
	Cette partie de l'application propose de multiples types de graphiques : Area Chart, Pie chart, Table, Histogram, Geopositioning...		Cette partie de l'application propose de multiples types de graphiques : Area Chart, Pie chart, Table, Histogram, Geopositioning...
	Elle offre a l'utilisateur la capacité de paramétrer les graphiques. Cependant, le logiciel n'est qu'un outil de création en fonction des données. S'il propose effectivement quelques analyses par défauts, la pertinence du graphique est laissée au soin de l'utilisateur.		Elle offre à l'utilisateur la capacité de paramétrer les graphiques. Cependant, le logiciel n'est qu'un outil de création en fonction des données. S'il propose effectivement quelques analyses par défauts, la pertinence du graphique est laissée au soin de l'utilisateur.

	La visualisation des modifications apportées sans changer de page permet de mieux appréhender si le type de graphique donne une réelle information. En effet, comme dit précédemment, l'utilisateur est maître de ces créations, l'outil ne fournit pas de correction même s'il peut, pour certaines données, proposés une méthode de représentation.		La visualisation des modifications apportées sans changer de page permet de mieux appréhender si le type de graphique donne une réelle information. En effet, comme dit précédemment, l'utilisateur est maître de ces créations, l'outil ne fournit pas de correction même s'il peut, pour certaines données, proposés une méthode de représentation.

Vivien.Michel: /* Synthèse */

2015-10-09T09:50:54Z

Synthèse

← Older revision		Revision as of 09:50, 9 October 2015
Line 52:		Line 52:
	L'output peut inclure, tout comme l'input ou les filtres, des options internes spécifiques à chaque sortie. Ainsi, le "codec", le format dans lequel sera donné la sortie peut être défini pour chaque adaptateur.		L'output peut inclure, tout comme l'input ou les filtres, des options internes spécifiques à chaque sortie. Ainsi, le "codec", le format dans lequel sera donné la sortie peut être défini pour chaque adaptateur.

	===Elastic Search===		===Elastic Search : Base de Données===
	[[File:elasticsearch.png\|500px]]		[[File:elasticsearch.png\|500px]]

Line 62:		Line 62:
	Elasticsearch intervient après Logstash, et stocke les données envoyées de la meilleure manière possible pour qu’elles soient exploitables.		Elasticsearch intervient après Logstash, et stocke les données envoyées de la meilleure manière possible pour qu’elles soient exploitables.

	===Kibana===		===Kibana : Tableau de Bord===
	[[File:d2si_blog_image_logstash_elasticsearch_kibana-6.png]]		[[File:d2si_blog_image_logstash_elasticsearch_kibana-6.png]]

Vivien.Michel at 09:49, 9 October 2015

2015-10-09T09:49:27Z

Vivien.Michel: /* Insertion des Graphiques dans le tableau de bord */

2015-10-09T09:46:37Z

Insertion des Graphiques dans le tableau de bord

← Older revision		Revision as of 09:46, 9 October 2015
Line 81:		Line 81:
	Après la création des différents graphiques, l'onglet '''DashBoard''' permet de réunir ceux-ci, changer leur taille et choisir leur emplacement sur la page.		Après la création des différents graphiques, l'onglet '''DashBoard''' permet de réunir ceux-ci, changer leur taille et choisir leur emplacement sur la page.
	C'est à la charge de l'utilisateur de correctement placer les graphiques, afin d'obtenir une visualisation pertinente des données. Tout comme pour la création de graphiques, il n'y a pas d'outil de correction, ni de conseil pour le placement des "visualisations" dans le tableau de bord.		C'est à la charge de l'utilisateur de correctement placer les graphiques, afin d'obtenir une visualisation pertinente des données. Tout comme pour la création de graphiques, il n'y a pas d'outil de correction, ni de conseil pour le placement des "visualisations" dans le tableau de bord.

			L'interface ne demande pas de coder. En effet l'outil est un WYSIWYG (what you see is what you get). Dès lors, un développeur comme un manager peut manipuler Kibana. Le déplacement se fait simplement par glisser déposer, tandis que le redimensionnement se fait de même que sur les systèmes de fenêtres.
	[[File:kibana.png\|700px\|center]]		[[File:kibana.png\|700px\|center]]

Vivien.Michel: /* Kibana */

2015-10-09T09:43:34Z

Kibana

← Older revision		Revision as of 09:43, 9 October 2015
Line 80:		Line 80:

	Après la création des différents graphiques, l'onglet '''DashBoard''' permet de réunir ceux-ci, changer leur taille et choisir leur emplacement sur la page.		Après la création des différents graphiques, l'onglet '''DashBoard''' permet de réunir ceux-ci, changer leur taille et choisir leur emplacement sur la page.
	C'est à la charge de l'utilisateur de correctement ~~placé~~, afin d'obtenir		C'est à la charge de l'utilisateur de correctement placer les graphiques, afin d'obtenir une visualisation pertinente des données. Tout comme pour la création de graphiques, il n'y a pas d'outil de correction, ni de conseil pour le placement des "visualisations" dans le tableau de bord.
	[[File:kibana.png\|700px\|center]]		[[File:kibana.png\|700px\|center]]

Vivien.Michel: /* Création de Visualisation */

2015-10-09T09:41:06Z

Création de Visualisation

← Older revision		Revision as of 09:41, 9 October 2015
Line 72:		Line 72:

	===Création de Visualisation===		===Création de Visualisation===
	Cette partie de l'application propose de multiples types de graphiques : Area Chart, Pie chart, Table, Histogram, Geopositioning.		Cette partie de l'application propose de multiples types de graphiques : Area Chart, Pie chart, Table, Histogram, Geopositioning...
			Elle offre a l'utilisateur la capacité de paramétrer les graphiques. Cependant, le logiciel n'est qu'un outil de création en fonction des données. S'il propose effectivement quelques analyses par défauts, la pertinence du graphique est laissée au soin de l'utilisateur.
	Elle offre a l'utilisateur

			La visualisation des modifications apportées sans changer de page permet de mieux appréhender si le type de graphique donne une réelle information. En effet, comme dit précédemment, l'utilisateur est maître de ces créations, l'outil ne fournit pas de correction même s'il peut, pour certaines données, proposés une méthode de représentation.

	===Insertion des Graphiques dans le tableau de bord===		===Insertion des Graphiques dans le tableau de bord===

Vivien.Michel: /* Choix des index à traiter */

2015-10-09T09:34:27Z

Choix des index à traiter

← Older revision		Revision as of 09:34, 9 October 2015
Line 68:		Line 68:
	===Choix des index à traiter===		===Choix des index à traiter===
	Dans un premier temps il est nécessaire de donner à Kibana les index à récupérer et à traiter. Ceci permet, de faire plusieurs requêtes dans la base.		Dans un premier temps il est nécessaire de donner à Kibana les index à récupérer et à traiter. Ceci permet, de faire plusieurs requêtes dans la base.

	~~Une~~ barre de recherche, supportant des expressions régulières ou des opérations mathématiques (par exemple comparaison d'entier) permet de trier les données récupérées.		De plus, une barre de recherche, supportant des expressions régulières ou des opérations mathématiques (par exemple comparaison d'entier) permet de trier les données récupérées.

	===Création de Visualisation===		===Création de Visualisation===

← Older revision		Revision as of 09:49, 9 October 2015
Line 22:		Line 22:
	Ainsi, des outils tels que '''Logstash''' et '''Kibana''' ont été développés. Ceux-ci, à travers la base de données '''Elastic Search''', offrent un système de visualisation graphique des informations contenues dans les logs. Grâce à ces outils, tout utilisateur est en mesure d'analyser ces journaux et ainsi déboguer/améliorer l'application serveur.		Ainsi, des outils tels que '''Logstash''' et '''Kibana''' ont été développés. Ceux-ci, à travers la base de données '''Elastic Search''', offrent un système de visualisation graphique des informations contenues dans les logs. Grâce à ces outils, tout utilisateur est en mesure d'analyser ces journaux et ainsi déboguer/améliorer l'application serveur.

	==~~Journaux Bruts~~==		==Synthèse==
			===Journaux Bruts===
	Exemple de "Raw Log". Journaux Apache sur une journée :		Exemple de "Raw Log". Journaux Apache sur une journée :
	[[File:log_brut.png\|800px\|center]]		[[File:log_brut.png\|800px\|center]]
	Il est facile de voir sur l'image ci-dessus, que le trie et l'interprétation des données demandent un effort particulier au lecteur. Même avec un certain degré d'expertise, la durée des deux étapes préalablement citées n'est pas négligeables. Dès lors, il faut automatiser le traitement si l'on multiplie les logs et les applications serveurs. De plus, croiser des données entre différents serveurs devient impossible si l'on doit chercher dans de multiples types de journaux possédant une syntaxe différente.		Il est facile de voir sur l'image ci-dessus, que le trie et l'interprétation des données demandent un effort particulier au lecteur. Même avec un certain degré d'expertise, la durée des deux étapes préalablement citées n'est pas négligeables. Dès lors, il faut automatiser le traitement si l'on multiplie les logs et les applications serveurs. De plus, croiser des données entre différents serveurs devient impossible si l'on doit chercher dans de multiples types de journaux possédant une syntaxe différente.

	==Logstash : Formatage et Filtrage==		===Logstash : Formatage et Filtrage===
	[[File:d2si_blog_image_logstash_elasticsearch_kibana-4.png]]		[[File:d2si_blog_image_logstash_elasticsearch_kibana-4.png]]

	Logstash permet de lire, récupérer et traiter des données en entrée afin de les stocker sous une forme formatée pour une utilisation ultérieure. Il peut être utilisé seul à des fins de débogage, en cherchant, par exemple, les exceptions au sein d'un fichier. Dès lors, l'information est récupérée et peut être traitée par le développeur.		Logstash permet de lire, récupérer et traiter des données en entrée afin de les stocker sous une forme formatée pour une utilisation ultérieure. Il peut être utilisé seul à des fins de débogage, en cherchant, par exemple, les exceptions au sein d'un fichier. Dès lors, l'information est récupérée et peut être traitée par le développeur.
	===Définition des Input===		====Définition des Input====

	Les points d’entrée (input) utilisés pour aller chercher l’information sont définis via un fichier de configuration. Plusieurs types de point d’entrée peuvent être choisis, et notamment les fichiers : dans ce cas, on indique à Logstash l’emplacement où aller lire les fichiers de log.		Les points d’entrée (input) utilisés pour aller chercher l’information sont définis via un fichier de configuration. Plusieurs types de point d’entrée peuvent être choisis, et notamment les fichiers : dans ce cas, on indique à Logstash l’emplacement où aller lire les fichiers de log.
Line 37:		Line 38:
	Logstash lit ensuite ces fichiers, ces entrées ligne par ligne.		Logstash lit ensuite ces fichiers, ces entrées ligne par ligne.

	===Création de filtres===		====Création de filtres====

	Il est possible d’appliquer certains “filtres” sur ces lignes : il ne s’agit pas seulement de sélectionner certains informations et d’en écarter d’autres, mais également de faire des opérations plus complexes, comme du mapping. Par exemple dans le cas d’un log avec UID, il est possible de résoudre l’ID en “Nom, Prénom” en faisant un appel externe. Il est également possible d’extraire des informations spécifiques et les stocker dans des champs spécifiques, ou encore d’exécuter du code Ruby. L'utilisation du parseur GROK permet d’extraire des informations à l’aide de RegEx (expressions régulières) pour matcher certains patterns, comme un numéro de version.		Il est possible d’appliquer certains “filtres” sur ces lignes : il ne s’agit pas seulement de sélectionner certains informations et d’en écarter d’autres, mais également de faire des opérations plus complexes, comme du mapping. Par exemple dans le cas d’un log avec UID, il est possible de résoudre l’ID en “Nom, Prénom” en faisant un appel externe. Il est également possible d’extraire des informations spécifiques et les stocker dans des champs spécifiques, ou encore d’exécuter du code Ruby. L'utilisation du parseur GROK permet d’extraire des informations à l’aide de RegEx (expressions régulières) pour matcher certains patterns, comme un numéro de version.
Line 46:		Line 47:
	Ensuite, de façon technique et implémentale, le logiciel utilise un buffer de récupération. Hors il est possible que lors de la lecture d'un log, le buffer soit plein, envoyé à la sortie alors que le log multiligne n'est pas complet. Dès lors, le système peut bloquer car ne pas reconnaître le type de log suivant qui n'est qu'une partie de log.		Ensuite, de façon technique et implémentale, le logiciel utilise un buffer de récupération. Hors il est possible que lors de la lecture d'un log, le buffer soit plein, envoyé à la sortie alors que le log multiligne n'est pas complet. Dès lors, le système peut bloquer car ne pas reconnaître le type de log suivant qui n'est qu'une partie de log.

	===Définition des Output===		====Définition des Output====

	Une fois que les points d’entrée et les filtres sont définis, on indique à Logstash où envoyer les résultats : plusieurs points de sortie, ou adapteurs, peuvent être définis. Le plus utilisé est Elasticsearch, mais il pourrait s’agir d’une BDD, ou d’un fichier ou encore d'un programme existant parsant une certaine forme de sortie (exemple : Json).		Une fois que les points d’entrée et les filtres sont définis, on indique à Logstash où envoyer les résultats : plusieurs points de sortie, ou adapteurs, peuvent être définis. Le plus utilisé est Elasticsearch, mais il pourrait s’agir d’une BDD, ou d’un fichier ou encore d'un programme existant parsant une certaine forme de sortie (exemple : Json).
	L'output peut inclure, tout comme l'input ou les filtres, des options internes spécifiques à chaque sortie. Ainsi, le "codec", le format dans lequel sera donné la sortie peut être défini pour chaque adaptateur.		L'output peut inclure, tout comme l'input ou les filtres, des options internes spécifiques à chaque sortie. Ainsi, le "codec", le format dans lequel sera donné la sortie peut être défini pour chaque adaptateur.

	==Elastic Search==		===Elastic Search===
	[[File:elasticsearch.png\|500px]]		[[File:elasticsearch.png\|500px]]

Line 61:		Line 62:
	Elasticsearch intervient après Logstash, et stocke les données envoyées de la meilleure manière possible pour qu’elles soient exploitables.		Elasticsearch intervient après Logstash, et stocke les données envoyées de la meilleure manière possible pour qu’elles soient exploitables.

	==Kibana==		===Kibana===
	[[File:d2si_blog_image_logstash_elasticsearch_kibana-6.png]]		[[File:d2si_blog_image_logstash_elasticsearch_kibana-6.png]]

	Ce logiciel est le dernier de la chaine. Il sert de tableau de bord à Elastic Search qui stocke les données. C'est une interface web qui se connecte au cluster Elastic Search.		Ce logiciel est le dernier de la chaine. Il sert de tableau de bord à Elastic Search qui stocke les données. C'est une interface web qui se connecte au cluster Elastic Search.

	===Choix des index à traiter===		====Choix des index à traiter====
	Dans un premier temps il est nécessaire de donner à Kibana les index à récupérer et à traiter. Ceci permet, de faire plusieurs requêtes dans la base.		Dans un premier temps il est nécessaire de donner à Kibana les index à récupérer et à traiter. Ceci permet, de faire plusieurs requêtes dans la base.

	De plus, une barre de recherche, supportant des expressions régulières ou des opérations mathématiques (par exemple comparaison d'entier) permet de trier les données récupérées.		De plus, une barre de recherche, supportant des expressions régulières ou des opérations mathématiques (par exemple comparaison d'entier) permet de trier les données récupérées.

	===Création de Visualisation===		====Création de Visualisation====
	Cette partie de l'application propose de multiples types de graphiques : Area Chart, Pie chart, Table, Histogram, Geopositioning...		Cette partie de l'application propose de multiples types de graphiques : Area Chart, Pie chart, Table, Histogram, Geopositioning...
	Elle offre a l'utilisateur la capacité de paramétrer les graphiques. Cependant, le logiciel n'est qu'un outil de création en fonction des données. S'il propose effectivement quelques analyses par défauts, la pertinence du graphique est laissée au soin de l'utilisateur.		Elle offre a l'utilisateur la capacité de paramétrer les graphiques. Cependant, le logiciel n'est qu'un outil de création en fonction des données. S'il propose effectivement quelques analyses par défauts, la pertinence du graphique est laissée au soin de l'utilisateur.
Line 77:		Line 78:
	La visualisation des modifications apportées sans changer de page permet de mieux appréhender si le type de graphique donne une réelle information. En effet, comme dit précédemment, l'utilisateur est maître de ces créations, l'outil ne fournit pas de correction même s'il peut, pour certaines données, proposés une méthode de représentation.		La visualisation des modifications apportées sans changer de page permet de mieux appréhender si le type de graphique donne une réelle information. En effet, comme dit précédemment, l'utilisateur est maître de ces créations, l'outil ne fournit pas de correction même s'il peut, pour certaines données, proposés une méthode de représentation.

	===Insertion des Graphiques dans le tableau de bord===		====Insertion des Graphiques dans le tableau de bord====

	Après la création des différents graphiques, l'onglet '''DashBoard''' permet de réunir ceux-ci, changer leur taille et choisir leur emplacement sur la page.		Après la création des différents graphiques, l'onglet '''DashBoard''' permet de réunir ceux-ci, changer leur taille et choisir leur emplacement sur la page.
Line 85:		Line 86:
	[[File:kibana.png\|700px\|center]]		[[File:kibana.png\|700px\|center]]

	==Conclusion==		===Conclusion===

	La chaine de ces trois logiciels offre un outil de visualisation puissant et flexible. De part son aspect open source, un développeur peut modifier chacun des trois programmes selon ses besoins. La communauté autour de ce projet est conséquente, il est donc facile de trouver des tutoriels ou des plugins associés à chacun d'eux.		La chaine de ces trois logiciels offre un outil de visualisation puissant et flexible. De part son aspect open source, un développeur peut modifier chacun des trois programmes selon ses besoins. La communauté autour de ce projet est conséquente, il est donc facile de trouver des tutoriels ou des plugins associés à chacun d'eux.