VT2018 Kafka - Revision history

Timothee.Depriester: /* Démonstation */

2018-12-17T12:29:44Z

Démonstation

← Older revision		Revision as of 12:29, 17 December 2018
Line 60:		Line 60:
	== Démonstation ==		== Démonstation ==

	On va ~~se reposer sur~~ le quickstart proposé par Kafka qui est très bien réalisé.		On va utiliser le quickstart proposé par Kafka qui est très bien réalisé.

Timothee.Depriester: /* Démonstation */

2018-12-17T10:47:56Z

Démonstation

← Older revision		Revision as of 10:47, 17 December 2018
Line 61:		Line 61:

	On va se reposer sur le quickstart proposé par Kafka qui est très bien réalisé.		On va se reposer sur le quickstart proposé par Kafka qui est très bien réalisé.


			https://kafka.apache.org/quickstart

	==Références==		==Références==

Timothee.Depriester: /* Garantie */

2018-12-17T10:47:18Z

Garantie

← Older revision		Revision as of 10:47, 17 December 2018
Line 58:		Line 58:
	Kafka garantie un ordre, c'est à dire que si un producteur P1 envoi un message M1 sur le topic T1 et qu'ensuite il envoit un message M2 sur le même topic, l'offset du message M1 sera strictement inférieur à celui du message M2.		Kafka garantie un ordre, c'est à dire que si un producteur P1 envoi un message M1 sur le topic T1 et qu'ensuite il envoit un message M2 sur le même topic, l'offset du message M1 sera strictement inférieur à celui du message M2.

	== Démonstation		== Démonstation ==

	On va se reposer sur le quickstart proposé par Kafka qui est très bien réalisé.		On va se reposer sur le quickstart proposé par Kafka qui est très bien réalisé.

Timothee.Depriester at 10:47, 17 December 2018

2018-12-17T10:47:08Z

← Older revision		Revision as of 10:47, 17 December 2018
Line 57:		Line 57:

	Kafka garantie un ordre, c'est à dire que si un producteur P1 envoi un message M1 sur le topic T1 et qu'ensuite il envoit un message M2 sur le même topic, l'offset du message M1 sera strictement inférieur à celui du message M2.		Kafka garantie un ordre, c'est à dire que si un producteur P1 envoi un message M1 sur le topic T1 et qu'ensuite il envoit un message M2 sur le même topic, l'offset du message M1 sera strictement inférieur à celui du message M2.

			== Démonstation

			On va se reposer sur le quickstart proposé par Kafka qui est très bien réalisé.

	==Références==		==Références==

Timothee.Depriester at 10:44, 17 December 2018

2018-12-17T10:44:42Z

← Older revision		Revision as of 10:44, 17 December 2018
Line 41:		Line 41:
	== Système de topic ==		== Système de topic ==

	[[File:Kafka_topic_2018.png\|390px\|thumb\|~~left~~\|API Kafka]]		[[File:Kafka_topic_2018.png\|390px\|thumb\|right\|API Kafka]]
	[[File:Kafka_topic2_2018.png\|390px\|thumb\|~~left~~\|API Kafka]]		[[File:Kafka_topic2_2018.png\|390px\|thumb\|right\|API Kafka]]

	Les données dans Kafka sont sauvegardé dans ce que l'on appelle des topics. C'est une représentation abstraite de comment est sauvegarder la donnée. Cette donnée est ensuite partitionné (de 1 à n partitions) ce qui permet de paralléliser les écritures sur un topic et de découper les données. Un topic peut être éparpillé sur plusieurs machines (logique ou physique), la seule contrainte est qu'une partition ne doit pas être découpé. Ensuite c'est l'une des machines qui devient leader sur cette partition et qui s'occupe de gérer les demandes d'écritures, les autres sont des followers.		Les données dans Kafka sont sauvegardé dans ce que l'on appelle des topics. C'est une représentation abstraite de comment est sauvegarder la donnée. Cette donnée est ensuite partitionné (de 1 à n partitions) ce qui permet de paralléliser les écritures sur un topic et de découper les données. Un topic peut être éparpillé sur plusieurs machines (logique ou physique), la seule contrainte est qu'une partition ne doit pas être découpé. Ensuite c'est l'une des machines qui devient leader sur cette partition et qui s'occupe de gérer les demandes d'écritures, les autres sont des followers.

Timothee.Depriester at 10:43, 17 December 2018

2018-12-17T10:43:13Z

← Older revision		Revision as of 10:43, 17 December 2018
Line 42:		Line 42:

	[[File:Kafka_topic_2018.png\|390px\|thumb\|left\|API Kafka]]		[[File:Kafka_topic_2018.png\|390px\|thumb\|left\|API Kafka]]
			[[File:Kafka_topic2_2018.png\|390px\|thumb\|left\|API Kafka]]

	Les données dans Kafka sont sauvegardé dans ce que l'on appelle des topics. C'est une représentation abstraite de comment est sauvegarder la donnée. Cette donnée est ensuite partitionné (de 1 à n partitions) ce qui permet de paralléliser les écritures sur un topic et de découper les données. Un topic peut être éparpillé sur plusieurs machines (logique ou physique), la seule contrainte est qu'une partition ne doit pas être découpé. Ensuite c'est l'une des machines qui devient leader sur cette partition et qui s'occupe de gérer les demandes d'écritures, les autres sont des followers.		Les données dans Kafka sont sauvegardé dans ce que l'on appelle des topics. C'est une représentation abstraite de comment est sauvegarder la donnée. Cette donnée est ensuite partitionné (de 1 à n partitions) ce qui permet de paralléliser les écritures sur un topic et de découper les données. Un topic peut être éparpillé sur plusieurs machines (logique ou physique), la seule contrainte est qu'une partition ne doit pas être découpé. Ensuite c'est l'une des machines qui devient leader sur cette partition et qui s'occupe de gérer les demandes d'écritures, les autres sont des followers.

Timothee.Depriester at 10:42, 17 December 2018

2018-12-17T10:42:30Z

← Older revision		Revision as of 10:42, 17 December 2018
Line 41:		Line 41:
	== Système de topic ==		== Système de topic ==

	[[File:~~Kafka_API_2018~~.png\|390px\|thumb\|left\|API Kafka]]		[[File:Kafka_topic_2018.png\|390px\|thumb\|left\|API Kafka]]

	Les données dans Kafka sont sauvegardé dans ce que l'on appelle des topics. C'est une représentation abstraite de comment est sauvegarder la donnée. Cette donnée est ensuite partitionné (de 1 à n partitions) ce qui permet de paralléliser les écritures sur un topic et de découper les données. Un topic peut être éparpillé sur plusieurs machines (logique ou physique), la seule contrainte est qu'une partition ne doit pas être découpé. Ensuite c'est l'une des machines qui devient leader sur cette partition et qui s'occupe de gérer les demandes d'écritures, les autres sont des followers.		Les données dans Kafka sont sauvegardé dans ce que l'on appelle des topics. C'est une représentation abstraite de comment est sauvegarder la donnée. Cette donnée est ensuite partitionné (de 1 à n partitions) ce qui permet de paralléliser les écritures sur un topic et de découper les données. Un topic peut être éparpillé sur plusieurs machines (logique ou physique), la seule contrainte est qu'une partition ne doit pas être découpé. Ensuite c'est l'une des machines qui devient leader sur cette partition et qui s'occupe de gérer les demandes d'écritures, les autres sont des followers.

Timothee.Depriester: /* Synthèse */

2018-12-17T10:42:04Z

Synthèse

← Older revision		Revision as of 10:42, 17 December 2018
Line 38:		Line 38:

	Ces API sont utilisables dans une majorité des langages les plus courants (Java, Scala, Go, Python, ...)		Ces API sont utilisables dans une majorité des langages les plus courants (Java, Scala, Go, Python, ...)

			== Système de topic ==

			[[File:Kafka_API_2018.png\|390px\|thumb\|left\|API Kafka]]

			Les données dans Kafka sont sauvegardé dans ce que l'on appelle des topics. C'est une représentation abstraite de comment est sauvegarder la donnée. Cette donnée est ensuite partitionné (de 1 à n partitions) ce qui permet de paralléliser les écritures sur un topic et de découper les données. Un topic peut être éparpillé sur plusieurs machines (logique ou physique), la seule contrainte est qu'une partition ne doit pas être découpé. Ensuite c'est l'une des machines qui devient leader sur cette partition et qui s'occupe de gérer les demandes d'écritures, les autres sont des followers.

			Lors de l'insertion d'un nouveau record (d'une donnée), Kafka y ajoute des métadonnées (offset: numéro dans la file, temps, persistance, ...) et est ajouter à l'un des partitions du topic selon un pattern spécifié (algorithme basique de round robin ou trié selon la donnée).

			Le fait que Kafka persiste les données et ajoute un offset n'oblige pas à travailler en temps réel (bien que Kafka soit aussi très adapté au temps réel) et permet aussi de pouvoir totalement rejouer les états d'une application grace à la sauvegarde de toutes les opérations.

			== Garantie ==

			Kafka permet une réplication configurable de toutes les données.

			Kafka permet de prendre en compte la géo-localisation pour optimiser les temps d'accès.

			Kafka garantie un ordre, c'est à dire que si un producteur P1 envoi un message M1 sur le topic T1 et qu'ensuite il envoit un message M2 sur le même topic, l'offset du message M1 sera strictement inférieur à celui du message M2.

	==Références==		==Références==

Timothee.Depriester: /* Références */

2018-12-17T10:29:58Z

Références

← Older revision		Revision as of 10:29, 17 December 2018
Line 42:		Line 42:

	https://cwiki.apache.org/confluence/display/KAFKA/Kafka+papers+and+presentations		https://cwiki.apache.org/confluence/display/KAFKA/Kafka+papers+and+presentations

	https://kafka.apache.org		https://kafka.apache.org

	https://github.com/apache/kafka/blob/2.1/streams/examples/src/main/java/org/apache/kafka/streams/examples/wordcount/WordCountDemo.java		https://github.com/apache/kafka/blob/2.1/streams/examples/src/main/java/org/apache/kafka/streams/examples/wordcount/WordCountDemo.java

	http://confluent.io/product/		http://confluent.io/product/

	https://hackernoon.com/distributed-log-analytics-using-apache-kafka-kafka-connect-and-fluentd-303330e478af		https://hackernoon.com/distributed-log-analytics-using-apache-kafka-kafka-connect-and-fluentd-303330e478af

Timothee.Depriester: /* APIs */

2018-12-17T10:28:26Z

APIs

← Older revision		Revision as of 10:28, 17 December 2018
Line 31:		Line 31:
	Kafka nous fournis 4 APIs majeurs:		Kafka nous fournis 4 APIs majeurs:

	Les APIs Productor et ~~COnsommator~~ qui permettent de fournir et consulter les données dans le système Kafka.		Les APIs Productor et Consommator qui permettent de fournir et consulter les données dans le système Kafka.

	L'API Connector permettant de relier le système Kafka à d'autres services tel que des base de données.		L'API Connector permettant de relier le système Kafka à d'autres services tel que des base de données.
Line 37:		Line 37:
	L'API Stream permettant de traiter certaines informations envoyées dans le système Kafka (Agrégation, filtrage, calcul, ...).		L'API Stream permettant de traiter certaines informations envoyées dans le système Kafka (Agrégation, filtrage, calcul, ...).

			Ces API sont utilisables dans une majorité des langages les plus courants (Java, Scala, Go, Python, ...)




	==Références==		==Références==