VT2020-AppachePinot-Demo

Installation

Certains prérequis doivent être remplis pour la démonstration :

• Installer à minima Java 9
• Installer Appache Maeven ( https://maven.apache.org/download.cgi )

Pour pouvoir effectuer la démonstration vous devrez télécharger les logiciels suivant :

• Les données test fournies par Appache Pinot ( https://github.com/npawar/pinot-tutorial )
• Télécharger la dernière version stable de Appache Pinot ( https://pinot.apache.org )
• Installer ZooInspector ( https://github.com/zzhang5/zooinspector )

Déploiement d'un cluster Pinot

On commence par lancer le zookeeper :

bin/pinot-admin.sh StartZookeeper -zkPort 2181

On déploie ensuite les deux controlleurs :

bin/pinot-admin.sh StartController -zkAddress localhost:2181 -clusterName PinotCluster -controllerPort 9001
bin/pinot-admin.sh StartController -zkAddress localhost:2181 -clusterName PinotCluster -controllerPort 9002

On déploie ensuite les deux brokers :

bin/pinot-admin.sh StartBroker -zkAddress localhost:2181 -clusterName PinotCluster -brokerPort 7001
bin/pinot-admin.sh StartBroker -zkAddress localhost:2181 -clusterName PinotCluster -brokerPort 7002

On lance enfin les deux serveurs :

in/pinot-admin.sh StartServer -zkAddress localhost:2181 -clusterName PinotCluster -serverPort 8001 -serverAdminPort 8011
bin/pinot-admin.sh StartServer -zkAddress localhost:2181 -clusterName PinotCluster -serverPort 8002 -serverAdminPort 8012

Test

Tout d'abord nous configurons une table et son shéma sur notre cluster :

*bin/pinot-admin.sh AddTable -tableConfigFile /home/remy/Bureau/testVT/pinot-tutorial/transcript/transcript-table-offline.json -schemaFile /home/remy/Bureau/testVT/pinot-tutorial/transcript/transcript-schema.json -controllerPort 9001 -exec

Et enfin nous allons injecter des données dans cette tabe :

*bin/pinot-admin.sh LaunchDataIngestionJob -jobSpecFile /home/remy/Bureau/testVT/pinot-tutorial/transcript/batch-job-spec.yml