Difference between revisions of "VT2020-AppachePinot-Demo"
Jump to navigation
Jump to search
Remy.Ruzafa (talk | contribs) |
Remy.Ruzafa (talk | contribs) (→Test) |
||
Line 30: | Line 30: | ||
= Test = |
= Test = |
||
+ | |||
+ | Tout d'abord nous configurons une table et son shéma sur notre cluster : |
||
+ | |||
+ | *bin/pinot-admin.sh AddTable -tableConfigFile /home/remy/Bureau/testVT/pinot-tutorial/transcript/transcript-table-offline.json -schemaFile /home/remy/Bureau/testVT/pinot-tutorial/transcript/transcript-schema.json -controllerPort 9001 -exec |
||
+ | |||
+ | Et enfin nous allons injecter des données dans cette tabe : |
||
+ | *bin/pinot-admin.sh LaunchDataIngestionJob -jobSpecFile /home/remy/Bureau/testVT/pinot-tutorial/transcript/batch-job-spec.yml |
Revision as of 18:14, 5 December 2020
Installation
Certains prérequis doivent être remplis pour la démonstration :
- Installer à minima Java 9
- Installer Appache Maeven ( https://maven.apache.org/download.cgi )
Pour pouvoir effectuer la démonstration vous devrez télécharger les logiciels suivant :
- Les données test fournies par Appache Pinot ( https://github.com/npawar/pinot-tutorial )
- Télécharger la dernière version stable de Appache Pinot ( https://pinot.apache.org )
- Installer ZooInspector ( https://github.com/zzhang5/zooinspector )
Déploiement
On commence par lancer le zookeeper :
bin/pinot-admin.sh StartZookeeper -zkPort 2181
On déploie ensuite les deux controlleurs :
bin/pinot-admin.sh StartController -zkAddress localhost:2181 -clusterName PinotCluster -controllerPort 9001 bin/pinot-admin.sh StartController -zkAddress localhost:2181 -clusterName PinotCluster -controllerPort 9002
On déploie ensuite les deux brokers :
bin/pinot-admin.sh StartBroker -zkAddress localhost:2181 -clusterName PinotCluster -brokerPort 7001 bin/pinot-admin.sh StartBroker -zkAddress localhost:2181 -clusterName PinotCluster -brokerPort 7002
On lance enfin les deux serveurs :
in/pinot-admin.sh StartServer -zkAddress localhost:2181 -clusterName PinotCluster -serverPort 8001 -serverAdminPort 8011 bin/pinot-admin.sh StartServer -zkAddress localhost:2181 -clusterName PinotCluster -serverPort 8002 -serverAdminPort 8012
Test
Tout d'abord nous configurons une table et son shéma sur notre cluster :
*bin/pinot-admin.sh AddTable -tableConfigFile /home/remy/Bureau/testVT/pinot-tutorial/transcript/transcript-table-offline.json -schemaFile /home/remy/Bureau/testVT/pinot-tutorial/transcript/transcript-schema.json -controllerPort 9001 -exec
Et enfin nous allons injecter des données dans cette tabe :
*bin/pinot-admin.sh LaunchDataIngestionJob -jobSpecFile /home/remy/Bureau/testVT/pinot-tutorial/transcript/batch-job-spec.yml