VT2021 TTS fiche - Revision history

Kevin.Cosotti at 13:45, 13 December 2021

2021-12-13T13:45:32Z

← Older revision		Revision as of 13:45, 13 December 2021
Line 80:		Line 80:
	== Sources ==		== Sources ==
	- https://en.wikipedia.org/wiki/Speech_synthesis		- https://en.wikipedia.org/wiki/Speech_synthesis

	- https://trepo.tuni.fi/handle/10024/114031		- https://trepo.tuni.fi/handle/10024/114031

			- https://github.com/numediart/MBROLA

			- https://github.com/stakira/OpenUtau

Kevin.Cosotti at 13:44, 13 December 2021

2021-12-13T13:44:27Z

← Older revision		Revision as of 13:44, 13 December 2021
Line 77:		Line 77:
	Le TTS est une technologie bien maîtrisée, preuve en est de son utilisation déjà présente dans la vie courante. Ses diverses méthodes permettent une utilisation plus ou moins poussée, du système embarqué à l'entraînement intensif de réseau de neurone, du tout automatisé au grand contrôle de l’humain.		Le TTS est une technologie bien maîtrisée, preuve en est de son utilisation déjà présente dans la vie courante. Ses diverses méthodes permettent une utilisation plus ou moins poussée, du système embarqué à l'entraînement intensif de réseau de neurone, du tout automatisé au grand contrôle de l’humain.
	En somme c’est une technologie dont l’avenir viendra uniquement de son perfectionnement, sur tous ses plans.		En somme c’est une technologie dont l’avenir viendra uniquement de son perfectionnement, sur tous ses plans.

			== Sources ==
			- https://en.wikipedia.org/wiki/Speech_synthesis
			- https://trepo.tuni.fi/handle/10024/114031

Kevin.Cosotti at 13:33, 13 December 2021

2021-12-13T13:33:26Z

← Older revision		Revision as of 13:33, 13 December 2021
Line 48:		Line 48:

	=== Bidirectional Recurrent Neural Network (BRNN) ===		=== Bidirectional Recurrent Neural Network (BRNN) ===
			Comme vu précédemment, le RNN crée une dépendance temporelle vers le passé, ce qui signifie que dans le cas du text-to-phoneme on peut se servir de une ou plusieurs lettre précédant celle actuelle. Cependant dans le contexte de transcription phonétique, il est aussi utile d'avoir le contexte (les lettres) dans le futur (les lettres suivantes). Pour ceci on divise l'état des neurones en deux: une partie s'occupe des états dans le sens positif (i.e les états suivants) tandis que l'autre s'occupe des états dans le sens négatif (i.e les états précédents). Les états précédents sont là pour introduire la dépendance du contexte alors que les états suivants indiquent les informations du contexte à partir des états précédents.

	[[File:BRNN.PNG]]		[[File:BRNN.PNG]]

Kevin.Cosotti at 13:21, 13 December 2021

2021-12-13T13:21:07Z

← Older revision		Revision as of 13:21, 13 December 2021
Line 43:		Line 43:

	=== Recurrent Neural Network (RNN) ===		=== Recurrent Neural Network (RNN) ===
			Le Recurrent Neural Network incorpore une ou plusieurs boucle(s) de feedback. Elles peuvent être soit global (c'est à dire les sorties du réseau sont réutilisées comme entrées) ou local (les sorties d'une couche sont réutilisées comme entrées pour la même couche). De fait, ce type de réseau inclus en plus une dépendance temporelle, ce qui peut le rendre plus pratique pour des prédictions de texte par exemple.

	[[File:RNN.PNG]]		[[File:RNN.PNG]]

Kevin.Cosotti at 11:00, 13 December 2021

2021-12-13T11:00:24Z

← Older revision		Revision as of 11:00, 13 December 2021
Line 39:		Line 39:
	=== Multilayer Perceptron (MLP) ===		=== Multilayer Perceptron (MLP) ===
	Le Multilayer Perceptron consiste en une couche d'entrée, plusieurs couches cachées et une couche de sortie, en général chaque neurones étant connecté à tous ses prédécesseurs et ses successeurs. La méthode d'entrainement est celle du back-propagation, c'est à dire qu'on "déroule" une exécution jusqu'à la couche de sortie puis de là on fait le chemin inverse en envoyant les résultats aux neurones précédents pour analyser les erreurs. On peut aussi régler un paramètre nommé le taux d'apprentissage pour contrôler la vitesse de convergence et la stabilité du modèle.		Le Multilayer Perceptron consiste en une couche d'entrée, plusieurs couches cachées et une couche de sortie, en général chaque neurones étant connecté à tous ses prédécesseurs et ses successeurs. La méthode d'entrainement est celle du back-propagation, c'est à dire qu'on "déroule" une exécution jusqu'à la couche de sortie puis de là on fait le chemin inverse en envoyant les résultats aux neurones précédents pour analyser les erreurs. On peut aussi régler un paramètre nommé le taux d'apprentissage pour contrôler la vitesse de convergence et la stabilité du modèle.

			[[File:MLP.PNG]]

	=== Recurrent Neural Network (RNN) ===		=== Recurrent Neural Network (RNN) ===

			[[File:RNN.PNG]]

	=== Bidirectional Recurrent Neural Network (BRNN) ===		=== Bidirectional Recurrent Neural Network (BRNN) ===

			[[File:BRNN.PNG]]

	== Synthèse vocale ==		== Synthèse vocale ==

Kevin.Cosotti: /* Multilayer Perceptron (MLP) */

2021-12-13T10:54:10Z

Multilayer Perceptron (MLP)

← Older revision		Revision as of 10:54, 13 December 2021
Line 38:		Line 38:

	=== Multilayer Perceptron (MLP) ===		=== Multilayer Perceptron (MLP) ===
	Le Multilayer Perceptron consiste en une couche d'entrée, plusieurs couches cachées et une couche de sortie, en général chaque neurones étant connecté à tous ses prédécesseurs et ses successeurs. La méthode d'entrainement est celle du back-propagation, c'est à dire qu'on "déroule" une exécution jusqu'à la couche de sortie puis de là on fait le chemin inverse en ~~envyant~~ les résultats aux neurones précédents pour analyser les erreurs. On peut aussi régler un paramètre nommé le taux d'apprentissage pour contrôler la vitesse de convergence et la stabilité du modèle.		Le Multilayer Perceptron consiste en une couche d'entrée, plusieurs couches cachées et une couche de sortie, en général chaque neurones étant connecté à tous ses prédécesseurs et ses successeurs. La méthode d'entrainement est celle du back-propagation, c'est à dire qu'on "déroule" une exécution jusqu'à la couche de sortie puis de là on fait le chemin inverse en envoyant les résultats aux neurones précédents pour analyser les erreurs. On peut aussi régler un paramètre nommé le taux d'apprentissage pour contrôler la vitesse de convergence et la stabilité du modèle.

	=== Recurrent Neural Network (RNN) ===		=== Recurrent Neural Network (RNN) ===

Kevin.Cosotti: /* Multilayer Perceptron (MLP) */

2021-12-13T10:53:39Z

Multilayer Perceptron (MLP)

← Older revision		Revision as of 10:53, 13 December 2021
Line 38:		Line 38:

	=== Multilayer Perceptron (MLP) ===		=== Multilayer Perceptron (MLP) ===
	Le Multilayer Perceptron consiste en une couche d'entrée, plusieurs couches cachées et une couche de sortie, en général chaque neurones étant connecté à tous ses prédécesseurs et ses successeurs. La méthode d'entrainement est ~~elle~~ du back-propagation, c'est à dire qu'on "déroule" une exécution jusqu'à la couche de sortie puis de là on fait le chemin inverse en envyant les résultats aux neurones précédents pour analyser les erreurs. On peut aussi régler un paramètre nommé le taux d'apprentissage pour contrôler la vitesse de convergence et la stabilité du modèle.		Le Multilayer Perceptron consiste en une couche d'entrée, plusieurs couches cachées et une couche de sortie, en général chaque neurones étant connecté à tous ses prédécesseurs et ses successeurs. La méthode d'entrainement est celle du back-propagation, c'est à dire qu'on "déroule" une exécution jusqu'à la couche de sortie puis de là on fait le chemin inverse en envyant les résultats aux neurones précédents pour analyser les erreurs. On peut aussi régler un paramètre nommé le taux d'apprentissage pour contrôler la vitesse de convergence et la stabilité du modèle.

	=== Recurrent Neural Network (RNN) ===		=== Recurrent Neural Network (RNN) ===

Kevin.Cosotti at 10:53, 13 December 2021

2021-12-13T10:53:13Z

← Older revision		Revision as of 10:53, 13 December 2021
Line 33:		Line 33:

	La difficulté que cette technologie rencontre vient de la complexité du langage humain. En effet, si pour le verbal (qui touche uniquement au contenue dit), il semble envisageable de le convertir en voix, il est autrement plus compliqué d’y ajouter la prosodie, “comment on le dit”. Cette dernière comporte tous les aspects de la parole qui ne tient pas du contenue. Soit le ton, le rythme, les pauses, l’accentuation, et le débit de la parole. Ces éléments restent un point essentiel dans la communication orale et les retranscrire via la machine est tout le défi du text-to-speech.		La difficulté que cette technologie rencontre vient de la complexité du langage humain. En effet, si pour le verbal (qui touche uniquement au contenue dit), il semble envisageable de le convertir en voix, il est autrement plus compliqué d’y ajouter la prosodie, “comment on le dit”. Cette dernière comporte tous les aspects de la parole qui ne tient pas du contenue. Soit le ton, le rythme, les pauses, l’accentuation, et le débit de la parole. Ces éléments restent un point essentiel dans la communication orale et les retranscrire via la machine est tout le défi du text-to-speech.

			== Transcription phonétique ==
			La transcription phonétique, aussi connu sous le nom de Text-to-phoneme (TTP) ou Grapheme-to-phoneme (GTP), consiste à convertir un mot ou ensemble de mots en leur équivalent phonétique (par exemple Hello world devient hɛˈləʊ wɜːld). La plupart des algorithmes de transcription phonétiques s'appuient aussi sur des dictionnaires de plusieurs milliers de mots. La plupart des problèmes de speech processing requiert des fonctions non-linéaires et pour cette raison l'usage de réseau de neurones est essentiel. Dans la suite nous mentionnerons rapidement trois types de réseaux utilisé à cette fin, sans entrer dans tous les calculs complexes.

			=== Multilayer Perceptron (MLP) ===
			Le Multilayer Perceptron consiste en une couche d'entrée, plusieurs couches cachées et une couche de sortie, en général chaque neurones étant connecté à tous ses prédécesseurs et ses successeurs. La méthode d'entrainement est elle du back-propagation, c'est à dire qu'on "déroule" une exécution jusqu'à la couche de sortie puis de là on fait le chemin inverse en envyant les résultats aux neurones précédents pour analyser les erreurs. On peut aussi régler un paramètre nommé le taux d'apprentissage pour contrôler la vitesse de convergence et la stabilité du modèle.

			=== Recurrent Neural Network (RNN) ===

			=== Bidirectional Recurrent Neural Network (BRNN) ===

	== Synthèse vocale ==		== Synthèse vocale ==

Kevin.Cosotti at 10:31, 13 December 2021

2021-12-13T10:31:17Z

← Older revision		Revision as of 10:31, 13 December 2021
Line 10:		Line 10:

	=== Abstract ===		=== Abstract ===
			Text-To-Speech (TTS), also known as "Speech Synthesis" consist in having a machine convert text into understandable speech. If currently we take it for granted, it still possesses various forms which does not have the same applications. In fact, trainstations' announcements, pronouciation helpers or even virtual singers all use different versions of this technology. After a short presentation of it, we'll discuss of the most fequently used techniques, of their basic principle, of their pros and their cons.

	== Histoire ==		== Histoire ==

Kevin.Cosotti at 10:21, 13 December 2021

2021-12-13T10:21:41Z

← Older revision		Revision as of 10:21, 13 December 2021
Line 26:		Line 26:
	En 1975 l'un des premiers systèmes de synthèse vocale, le MUSA(MUltichannel Speaking Automaton) sort; cela consistait simplement en un ordinateur avec dessus installé un logiciel permettant de lire l'italien.		En 1975 l'un des premiers systèmes de synthèse vocale, le MUSA(MUltichannel Speaking Automaton) sort; cela consistait simplement en un ordinateur avec dessus installé un logiciel permettant de lire l'italien.
	Toujours en 1975, Fumitada Itakura a développé la méthode Line Spectral Pairs(LSP) pour une haute compression du codage de la parole. En 1980, son équipe sorti une puce de synthèse vocale basé sur le LSP. Par la suite, le LSP sera reconnu comme quasi essentiel et dans les années 90 sera adopté dans pratiquement tous les standards du codage de la parole.		Toujours en 1975, Fumitada Itakura a développé la méthode Line Spectral Pairs(LSP) pour une haute compression du codage de la parole. En 1980, son équipe sorti une puce de synthèse vocale basé sur le LSP. Par la suite, le LSP sera reconnu comme quasi essentiel et dans les années 90 sera adopté dans pratiquement tous les standards du codage de la parole.

			[[File:Ère_électronique.PNG]]

	== Enjeux de la technologie ==		== Enjeux de la technologie ==