VT2020-QuestDB-Fiche - Revision history

Tom.Graugnard: /* Indexes */

2020-12-05T22:59:16Z

Indexes

← Older revision		Revision as of 22:59, 5 December 2020
Line 74:		Line 74:


	== ~~Indexes~~ ==		== Index ==

	Un '''index''' stocke les numéros des lignes associés à une valeur, afin de permettre un accès en lecture plus rapide.		Un '''index''' stocke les numéros des lignes associés à une valeur, afin de permettre un accès en lecture plus rapide.

Tom.Graugnard at 19:29, 5 December 2020

2020-12-05T19:29:31Z

← Older revision		Revision as of 19:29, 5 December 2020
Line 150:		Line 150:
	Pour arrêter la base de données, lancez la commande :		Pour arrêter la base de données, lancez la commande :
	./questdb.sh stop		./questdb.sh stop
	Les données sont sauvegardé par défaut dans votre dossier ''$home/.questdb'', donc elles ne disparaissent pas si on arrête la base.		Les données sont sauvegardé par défaut dans votre dossier <code>''$home/.questdb''</code>, donc elles ne disparaissent pas si on arrête la base.

	Pour intéragir avec la base de données, veuillez suivre la démonstration à [[VT2020-QuestDB-Demo\|cette page]].		Pour intéragir avec la base de données, veuillez suivre la démonstration à [[VT2020-QuestDB-Demo\|cette page]].

Tom.Graugnard at 19:27, 5 December 2020

2020-12-05T19:27:49Z

← Older revision		Revision as of 19:27, 5 December 2020
Line 34:		Line 34:
	'''Propriétés :'''		'''Propriétés :'''

	- Les tables de symboles sont stockées dans des fichiers différents des fichier colonne.		* Les tables de symboles sont stockées dans des fichiers différents des fichier colonne.

	- Conversion automatique de ''string'' vers ''int'' et inversement lors de lecture ou écriture.		* Conversion automatique de ''string'' vers ''int'' et inversement lors de lecture ou écriture.

	- Les symboles supportent les '''indexes'''.		* Les symboles supportent les '''indexes'''.

	'''Avantages : '''		'''Avantages : '''

	- Réduits la complexité des schémas de tables en enlevant le besoin de déclarer de nouvelles tables et de faire des JOIN.		* Réduits la complexité des schémas de tables en enlevant le besoin de déclarer de nouvelles tables et de faire des JOIN.

	- Transparent pour l'utilisateur.		* Transparent pour l'utilisateur.

	- Performance de requête grandement améliorée. (comparer et écrire des ''int'' au lieu de ''string'')		* Performance de requête grandement améliorée. (comparer et écrire des ''int'' au lieu de ''string'')

	- Performance de stockage grandement améliorée. (stocker des ''int'' au lieu de ''string'')		* Performance de stockage grandement améliorée. (stocker des ''int'' au lieu de ''string'')

	== "''designated timestamp''" ==		== "''designated timestamp''" ==
Line 55:		Line 55:

	''' Propriétés '''		''' Propriétés '''
	- Une seule colonne peut être désignée "''designated timestamp''" par table.		* Une seule colonne peut être désignée "''designated timestamp''" par table.

	- Seule une colonne "''timestamp''" peut être désignée.		* Seule une colonne "''timestamp''" peut être désignée.

	- L'attribut se fixe uniquement lors de la création d'un table ou d'une sous-table.		* L'attribut se fixe uniquement lors de la création d'un table ou d'une sous-table.

	- Une fois qu'une colonne possède l'attribut, il n'est plus possible d'insérer des données plus ancienne que la dernière ajoutée.		* Une fois qu'une colonne possède l'attribut, il n'est plus possible d'insérer des données plus ancienne que la dernière ajoutée.


Line 68:		Line 68:
	En plus du temps réduit de requête, "''designated timestamp''" offre d'autres avantages :		En plus du temps réduit de requête, "''designated timestamp''" offre d'autres avantages :

	- Créer des '''partitions''' de tables.		* Créer des '''partitions''' de tables.

	- Utiliser des JOIN sur le temps, comme "''ASOF JOIN''".		* Utiliser des JOIN sur le temps, comme "''ASOF JOIN''".


Line 82:		Line 82:
	''' Avantages '''		''' Avantages '''

	- Le temps des requêtes avec une conditions sur les données est grandement réduit.		* Le temps des requêtes avec une conditions sur les données est grandement réduit.

	''' Inconvénients '''		''' Inconvénients '''

	- Temps supplémentaire lors de l'écriture dans une table.		* Temps supplémentaire lors de l'écriture dans une table.

	- Prend plus de place en mémoire, car il faut stocker la table d'index.		* Prend plus de place en mémoire, car il faut stocker la table d'index.

	== Partitions ==		== Partitions ==
Line 96:		Line 96:
	''' Propriétés '''		''' Propriétés '''

	- Les partitions peuvent être crée par intervalle de jours, mois, ou année. (DAY, MONTH, YEAR)		* Les partitions peuvent être crée par intervalle de jours, mois, ou année. (DAY, MONTH, YEAR)

	- Par défaut, un table n'est pas partitionnée. (NONE)		* Par défaut, un table n'est pas partitionnée. (NONE)

	- Une partition est définie lors de la création d'une table.		* Une partition est définie lors de la création d'une table.

	- Une partition n'est possible que sur une table possédant une "''designated timestamp''"		* Une partition n'est possible que sur une table possédant une "''designated timestamp''"

	''' Avantages '''		''' Avantages '''

	- Réduit les entrées/sorties du disque pour les recherches d'intervalle de ''timestamp''.		* Réduit les entrées/sorties du disque pour les recherches d'intervalle de ''timestamp''.

	- Améliore significativement les temps de recherche et calcul.		* Améliore significativement les temps de recherche et calcul.

	- Fichiers séparés physiquement.		* Fichiers séparés physiquement.

Tom.Graugnard at 18:03, 5 December 2020

2020-12-05T18:03:54Z

← Older revision		Revision as of 18:03, 5 December 2020
Line 32:		Line 32:
	Nouveau type de donnée introduit par QuestDB. Il permet de stocker les ''strings'' qui apparaissent souvent dans une table qui contient ces ''strings'' ainsi qu'une valeur ''int'' associée.		Nouveau type de donnée introduit par QuestDB. Il permet de stocker les ''strings'' qui apparaissent souvent dans une table qui contient ces ''strings'' ainsi qu'une valeur ''int'' associée.

	~~===~~ Propriétés ~~===~~		'''Propriétés :'''

	- Les tables de symboles sont stockées dans des fichiers différents des fichier colonne.		- Les tables de symboles sont stockées dans des fichiers différents des fichier colonne.

Line 39:		Line 40:
	- Les symboles supportent les '''indexes'''.		- Les symboles supportent les '''indexes'''.

	~~===~~ Avantages ~~===~~		'''Avantages : '''

	- Réduits la complexité des schémas de tables en enlevant le besoin de déclarer de nouvelles tables et de faire des JOIN.		- Réduits la complexité des schémas de tables en enlevant le besoin de déclarer de nouvelles tables et de faire des JOIN.
Line 50:		Line 51:

	== "''designated timestamp''" ==		== "''designated timestamp''" ==
	[[File:QuestDBts.png\|~~400px~~ \| right \| designated timestamp]]		[[File:QuestDBts.png\|330px \| right \| designated timestamp]]
	L'attribut "''designated timestamp''" permet de spécifier une colonne dans une table qui aura des fonctionnalités supplémentaire. Effectuer des requêtes sur une colonne qui possède l'attribut réduit grandement le temps d’exécution.		L'attribut "''designated timestamp''" permet de spécifier une colonne dans une table qui aura des fonctionnalités supplémentaire. Effectuer des requêtes sur une colonne qui possède l'attribut réduit grandement le temps d’exécution.

	~~===~~ Propriétés ~~===~~		''' Propriétés '''
	- Une seule colonne peut être désignée "''designated timestamp''" par table.		- Une seule colonne peut être désignée "''designated timestamp''" par table.

Line 63:		Line 64:


	~~===~~ Avantages ~~===~~		''' Avantages '''

	En plus du temps réduit de requête, "''designated timestamp''" offre d'autres avantages :		En plus du temps réduit de requête, "''designated timestamp''" offre d'autres avantages :
Line 79:		Line 80:
	Un INSERT mets à jour à la fois la table et l'index.		Un INSERT mets à jour à la fois la table et l'index.

	~~===~~ Avantages ~~===~~		''' Avantages '''

	- Le temps des requêtes avec une conditions sur les données est grandement réduit.		- Le temps des requêtes avec une conditions sur les données est grandement réduit.

	~~===~~ Inconvénients ~~===~~		''' Inconvénients '''

	- Temps supplémentaire lors de l'écriture dans une table.		- Temps supplémentaire lors de l'écriture dans une table.
Line 93:		Line 94:
	QuestDB permet de partitionner les données en fonction du temps. Chaque partition est stockée dans un fichier différent.		QuestDB permet de partitionner les données en fonction du temps. Chaque partition est stockée dans un fichier différent.

	~~===~~ Propriétés ~~===~~		''' Propriétés '''

	- Les partitions peuvent être crée par intervalle de jours, mois, ou année. (DAY, MONTH, YEAR)		- Les partitions peuvent être crée par intervalle de jours, mois, ou année. (DAY, MONTH, YEAR)
Line 103:		Line 104:
	- Une partition n'est possible que sur une table possédant une "''designated timestamp''"		- Une partition n'est possible que sur une table possédant une "''designated timestamp''"

	~~===~~ Avantages ~~===~~		''' Avantages '''

	- Réduit les entrées/sorties du disque pour les recherches d'intervalle de ''timestamp''.		- Réduit les entrées/sorties du disque pour les recherches d'intervalle de ''timestamp''.

Tom.Graugnard at 17:57, 5 December 2020

2020-12-05T17:57:12Z

← Older revision		Revision as of 17:57, 5 December 2020
Line 150:		Line 150:
	./questdb.sh stop		./questdb.sh stop
	Les données sont sauvegardé par défaut dans votre dossier ''$home/.questdb'', donc elles ne disparaissent pas si on arrête la base.		Les données sont sauvegardé par défaut dans votre dossier ''$home/.questdb'', donc elles ne disparaissent pas si on arrête la base.

			Pour intéragir avec la base de données, veuillez suivre la démonstration à [[VT2020-QuestDB-Demo\|cette page]].

	= Références =		= Références =
Line 162:		Line 164:
	* [[Media:VT2020-QuestDB-Presentation.pdf\|Présentation]]		* [[Media:VT2020-QuestDB-Presentation.pdf\|Présentation]]
	* [[VT2020-QuestDB-Demo\|Démonstration]]		* [[VT2020-QuestDB-Demo\|Démonstration]]
	* ~~Auteurs~~ : [[User:Tom.Graugnard\|Tom Graugnard]]		* Auteur : [[User:Tom.Graugnard\|Tom Graugnard]]

Tom.Graugnard at 17:54, 5 December 2020

2020-12-05T17:54:33Z

Show changes

Tom.Graugnard at 17:22, 5 December 2020

2020-12-05T17:22:12Z

← Older revision		Revision as of 17:22, 5 December 2020
Line 46:		Line 46:
	En plus du temps réduit de requête, "''designated timestamp''" offre d'autres avantages :		En plus du temps réduit de requête, "''designated timestamp''" offre d'autres avantages :

	- Créer des partitions de tables.		- Créer des '''partitions''' de tables.

	- Utiliser des JOIN sur le temps, comme "''ASOF JOIN''".		- Utiliser des JOIN sur le temps, comme "''ASOF JOIN''".
Line 61:		Line 61:

	- Une partition est définie lors de la création d'une table.		- Une partition est définie lors de la création d'une table.

			- Une partition n'est possible que sur une table possédant une "''designated timestamp''"

	=== Avantages ===		=== Avantages ===

			- Réduit les entrées/sorties du disque pour les recherches d'intervalle de ''timestamp''.

			- Améliore significativement les temps de recherche et calcul.

			- Fichiers séparés physiquement.

	== Symboles ==		== Symboles ==

			Nouveau type de donnée introduit par QuestDB. Il permet de stocker les ''strings'' qui apparaissent souvent dans une table qui contient ces ''strings'' ainsi qu'une valeur ''int'' associée.

	=== Propriétés ===		=== Propriétés ===
			- Les tables de symboles sont stockées dans des fichiers différents des fichier colonne.

			- Conversion automatique de ''string'' vers ''int'' et inversement lors de lecture ou écriture.

			- Les symboles supportent les '''indexes'''.

	=== Avantages ===		=== Avantages ===

			- Réduits la complexité des schémas de tables en enlevant le besoin de déclarer de nouvelles tables et de faire des JOIN.

			- Transparent pour l'utilisateur.

			- Performance de requête grandement améliorée. (comparer et écrire des ''int'' au lieu de ''string'')

			- Performance de stockage grandement améliorée. (stocker des ''int'' au lieu de ''string'')

	== Indexes ==		== Indexes ==

			Un '''index''' stocke les numéros des lignes associés à une valeur, afin de permettre un accès en lecture plus rapide.
			Il permet de ne plus scanner toute la table lors d'une requête qui contient la clause WHERE, ou un JOIN.
			Un INSERT mets à jour à la fois la table et l'index.

	=== Avantages ===		=== Avantages ===

			- Le temps des requêtes avec une conditions sur les données est grandement réduit.

			=== Inconvénients ===

			- Temps supplémentaire lors de l'écriture dans une table.

			- Prend plus de place en mémoire, car il faut stocker la table d'index.

	== Extensions SQL ==		== Extensions SQL ==
Line 78:		Line 113:
	=== Nouvelles clauses ===		=== Nouvelles clauses ===

			'''LATEST BY''' permet de simplifier les opérations UPDATE et DELETE, dans l’environnement de QuestDB qui ne permet que les ajouts en fin de fichier.
⚫	=== Simplifications ===

			'''SAMPLE BY''' permet de faire des échantillons de données, par exemple prendre une valeur par mois/heure.

			QuestDB simplifie également la syntaxe pour faire recherche sur les ''timestamp''.

		⚫	=== Simplifications ===
			Plusieurs clauses obligatoire dans la syntaxe de ANSI SQL deviennent optionnelles en QuestDB. Dans un premier temps, '''SELECT * FROM''' peut simplement être enlevé. Une requête qui récupère tous les élément d'une table est possible rien qu'en utilisant le nom de la table.
			La même chose est possible avec la clause '''GROUP BY''', qui est faite automatiquement lorsque l'on utilise une opération d’agrégations telle que ''sum()''.

	= Utilisation =		= Utilisation =

Tom.Graugnard at 14:54, 5 December 2020

2020-12-05T14:54:37Z

← Older revision		Revision as of 14:54, 5 December 2020
Line 29:		Line 29:

	== "''designated timestamp''" ==		== "''designated timestamp''" ==

			L'attribut "''designated timestamp''" permet de spécifier une colonne dans une table qui aura des fonctionnalités supplémentaire. Effectuer des requêtes sur une colonne qui possède l'attribut réduit grandement le temps d’exécution.

	=== Propriétés ===		=== Propriétés ===
			- Une seule colonne peut être désignée "''designated timestamp''" par table.

			- Seule une colonne "''timestamp''" peut être désignée.

			- L'attribut se fixe uniquement lors de la création d'un table ou d'une sous-table.

			- Une fois qu'une colonne possède l'attribut, il n'est plus possible d'insérer des données plus ancienne que la dernière ajoutée.


	=== Avantages ===		=== Avantages ===

			En plus du temps réduit de requête, "''designated timestamp''" offre d'autres avantages :
	=== Exemple ===

			- Créer des partitions de tables.

			- Utiliser des JOIN sur le temps, comme "''ASOF JOIN''".


	== Partitions ==		== Partitions ==
			QuestDB permet de partitionner les données en fonction du temps. Chaque partition est stockée dans un fichier différent.

	=== Propriétés ===		=== Propriétés ===

			- Les partitions peuvent être crée par intervalle de jours, mois, ou année. (DAY, MONTH, YEAR)

			- Par défaut, un table n'est pas partitionnée. (NONE)

			- Une partition est définie lors de la création d'une table.

	=== Avantages ===		=== Avantages ===

Tom.Graugnard at 13:39, 5 December 2020

2020-12-05T13:39:59Z

← Older revision		Revision as of 13:39, 5 December 2020
Line 10:		Line 10:
	== Modèle de stockage ==		== Modèle de stockage ==
	[[File:QuestDBresume.png\|400px \| thumb \| right \| Résume du fonctionnement de QuestDB]]		[[File:QuestDBresume.png\|400px \| thumb \| right \| Résume du fonctionnement de QuestDB]]

			QuestDB utilise un modèle de stockage basé sur les '''colonnes'''. Chaque colonne d'une table est stockée dans un fichier séparé. Chaque nouvelle entrée dans une table est ajoutée à la fin de chaque fichier colonne ("''append''"), de manière a pouvoir récupérer des données dans le même ordre qu'elles ont été ajoutées.

	=== Écriture ===		=== Écriture ===
			Les écritures dans une tables sont effectuées à la fin de chaque fichier table une par une. La fin d'un fichier colonne est mappée dans une page mémoire de la RAM, l'ajout est donc essentiellement une écriture en mémoire. Une fois que la page mémoire est remplie, elle est dé-mappé et une nouvelle page est construite. Les données sont donc écrites dans le disque dur au moment du dé-mappage.

			Cette méthode d'écriture a été conçue pour assurer un '''temps consistent''' en écriture, et une consommation de ressources minimale.

	=== Lecture ===		=== Lecture ===

			Si les données de la colonne ont une taille fixe (comme un ''int'' par exemple), alors la donnée en lecture est accessible grâce à un shift de bits, qui donne un offset dans le fichier. Cet offset est ensuite transformé en un offset dans la page mémoire correspondante, d'où on récupère la valeur.

	=== Atomicité ===		=== Atomicité ===

			QuestDB assure que les tables sont consistantes avec l'utilisation de l''''atomicité''' pour les mise à jour.
⚫	== designated timestamp ==
			Chaque écriture, une fois effectuée, produit un commit qui valide l'insertion. Si il y a un problème, il n'y a pas de commit et donc l'opération est ''rollback''.
			Les métadonnées sont stockées dans un fichier séparé. Il sert notamment à empêcher la lecture de données non commité.

		⚫	== "''designated timestamp''" ==

	=== Propriétés ===		=== Propriétés ===

Tom.Graugnard at 12:29, 5 December 2020

2020-12-05T12:29:09Z

← Older revision		Revision as of 12:29, 5 December 2020
Line 6:		Line 6:
	L'outil dispose d'une console web intégrée, mais est également accessible à travers des requêtes REST, Postgre, et InfluxDB.		L'outil dispose d'une console web intégrée, mais est également accessible à travers des requêtes REST, Postgre, et InfluxDB.
	Ses différentes fonctionnalités en font un outil parfait pour les entreprises qui utilisent des données temporelles précises.		Ses différentes fonctionnalités en font un outil parfait pour les entreprises qui utilisent des données temporelles précises.
			= Concepts=
	= Description =


			== Modèle de stockage ==
	[[File:QuestDBresume.png\|400px \| thumb \| right \| Résume du fonctionnement de QuestDB]]		[[File:QuestDBresume.png\|400px \| thumb \| right \| Résume du fonctionnement de QuestDB]]

		⚫	=== Écriture ===

			=== Lecture ===

			=== Atomicité ===

			== designated timestamp ==

			=== Propriétés ===

	=== ===		=== Avantages ===

			=== Exemple ===

	= =		== Partitions ==
⚫	=== ===

			=== Propriétés ===

			=== Avantages ===

			== Symboles ==

	=== ===		=== Propriétés ===

			=== Avantages ===

			== Indexes ==

			=== Avantages ===

	=== ===		== Extensions SQL ==

			=== Nouvelles clauses ===

			=== Simplifications ===