VT2020-Apache Pulsar-Fiche: Difference between revisions
Ali.El-Mufti (talk | contribs) No edit summary |
Ali.El-Mufti (talk | contribs) No edit summary |
||
| Line 8: | Line 8: | ||
Le premier déploiement de Pulsar date de 2015, il a par la suite été mit en OpenSource en 2016 et est finalement devenu un Top Project Apache en septembre 2018. |
Le premier déploiement de Pulsar date de 2015, il a par la suite été mit en OpenSource en 2016 et est finalement devenu un Top Project Apache en septembre 2018. |
||
== Messagerie Distribuée == |
=== Messagerie Distribuée === |
||
Pulsar est un système de messagerie distribué, cela veut donc dire que : |
Pulsar est un système de messagerie distribué, cela veut donc dire que : |
||
| Line 18: | Line 18: | ||
== Concept et architecture == |
=== Concept et architecture === |
||
L'architecture est composée principalement de Producteurs de Consommateurs et de Brokers. |
L'architecture est composée principalement de Producteurs de Consommateurs et de Brokers. |
||
| Line 25: | Line 25: | ||
[[File:CA.jpg]] |
[[File:CA.jpg]] |
||
== Architecture des stockages et des gestions == |
=== Architecture des stockages et des gestions === |
||
On remarque donc que les Brokers s'occupent de la gestion des données et du traitement des messages, seulement, nous possedons ici de nouvelles entitées appellées '''Bookies''' qui s'occupent du stockage des données des differents messages. |
On remarque donc que les Brokers s'occupent de la gestion des données et du traitement des messages, seulement, nous possedons ici de nouvelles entitées appellées '''Bookies''' qui s'occupent du stockage des données des differents messages. |
||
| Line 37: | Line 37: | ||
Quant au stockage des méta données, cela se passe au niveau des Servers qui sont générés par Apache ZooKeeper. |
Quant au stockage des méta données, cela se passe au niveau des Servers qui sont générés par Apache ZooKeeper. |
||
[[File:ASG]] |
[[File:ASG]] |
||
== L'independance des clusters == |
=== L'independance des clusters === |
||
On remarque donc qu'il y a une décorellation entre la partie stockage et la partie traitement des messages. |
On remarque donc qu'il y a une décorellation entre la partie stockage et la partie traitement des messages. |
||
Nous pouvons donc rajouter des brokers si l'on a besoin de plus de |
Nous pouvons donc rajouter des brokers si l'on a besoin de plus de CPU pour traiter des messages et plus de Bookies si nous avons besoin de plus de stockage. |
||
[[File:IDC.jpg]] |
|||
On peut donc faire évoluer les deux entités et leurs nombres totalement indépendamment les unes des autres. |
|||
== Veille Technologique 2020 == |
|||
* Année : [[VT2020]] |
|||
* Sujet : Adobe Pulsar |
|||
* Slides : [[Media:AdobePulsar.pdf|Slides]] |
|||
* Auteur : Ali El Mufti |
|||
Revision as of 21:56, 6 December 2020
Introduction
Pulsar est un système de messagerie distribué que l’on peut comparer à Apache Kafka. C'est un projet né chez Yahoo! à l'issu d’un besoin de faire un système de messagerie, les systèmes fait à l’époque n'étant pas suffisants . Ce produit est utilisé actuellement pour d’autre application comme Yahoo Mail, Yahoo Finance mais aussi Yahoo! Sport. Le premier déploiement de Pulsar date de 2015, il a par la suite été mit en OpenSource en 2016 et est finalement devenu un Top Project Apache en septembre 2018.
Messagerie Distribuée
Pulsar est un système de messagerie distribué, cela veut donc dire que :
- Les données répliquées et enregistrées sur le disque. - La présence d'une réplique géographique des données - Une garantit d'ordre des messages - La fonction de Multi-Entités - Un fort débit
Concept et architecture
L'architecture est composée principalement de Producteurs de Consommateurs et de Brokers. Chaque Broker héberge Topic. Les Brokers représentent le point de contact entre les consommateurs et les producteurs, c'est là où vont être hégergés les topics. C'est là ou l'on trouve la première difference entre Apache Pulsar et Apache Kafka, contrairement à Kafka, les Brokers ne stockent pas les informations des messages. File:CA.jpg
Architecture des stockages et des gestions
On remarque donc que les Brokers s'occupent de la gestion des données et du traitement des messages, seulement, nous possedons ici de nouvelles entitées appellées Bookies qui s'occupent du stockage des données des differents messages.
Les Brokers et les Bookies sont donc organisés en Cluster :
- Gestion des messages composé des Brokers - Stockage des messages composé des Bookies et géré par Apache BookKeeper
Quant au stockage des méta données, cela se passe au niveau des Servers qui sont générés par Apache ZooKeeper.
File:ASG
L'independance des clusters
On remarque donc qu'il y a une décorellation entre la partie stockage et la partie traitement des messages. Nous pouvons donc rajouter des brokers si l'on a besoin de plus de CPU pour traiter des messages et plus de Bookies si nous avons besoin de plus de stockage. File:IDC.jpg On peut donc faire évoluer les deux entités et leurs nombres totalement indépendamment les unes des autres.
