VT2021 TTS fiche

2021-12-13T13:44:27Z

Kevin.Cosotti:

2021-12-13T10:59:48Z

Kevin.Cosotti:

File:MLP.PNG

2021-12-13T10:59:32Z

Kevin.Cosotti:

2021-12-13T10:21:12Z

Kevin.Cosotti:

VT2021 TTS fiche

2021-12-13T10:18:26Z

Kevin.Cosotti:

= TextToSpeech =

'''COSOTTI Kévin ([[kevin.cosotti@etu.univ-grenoble-alpes.fr]]) - GRANGER Oscar ([[oscar.granger@etu.univ-grenoble-alpes.fr]])'''

== Résumé ==
=== Résumé ===
Le Text-To-Speech (TTS), aussi connu sous le nom de “Synthèse Vocal” est le concept de faire convertir par la machine un texte en parole compréhensible. Si de nos jours, avec la démocratisation d’outils utilisant le TTS, cette technologie semble acquise, elle possède tout de même différentes formes qui n’ont pas les mêmes applications. En effet, les annonces dans les gares, les aides à la prononciation où même encore des chanteurs virtuels utilisent tous des versions différentes de cette technologie. Après une courte présentation de l’histoire de cette technologie, nous parlerons ici des techniques les plus utilisées du domaine, de leur principe de base, de leurs atouts et de leurs défauts.

'''Mots clés :''' TTS, Synthèse vocal, réseaux de neurones, Text-To-Phoneme

=== Abstract ===

== Histoire ==
=== Ère mécanique ===
Les premières traces de reproduction de l'appareil vocal humain remonte 1779, quand le scientifique Germano-Danois Christian Gottlieb Kratzenstein présente une reproduction de conduit vocal humain capable de produire le son des 5 voyelles (en alphabet phonétique international: [aː], [eː], [iː], [oː] et [uː]).
Ensuite, en 1791, Wolfgang von Kempelen décrit son modèle de "machine vocale mécanico-acoustique"; cette machine fonctionnait à base de soufflets et ajoutait la reproduction de la longue et des lèvres, rendant possible de produire les sons associés aux consonnes. Plusieurs "machines parlantes" basées sur ce modèle verront le jour comme celle de Charles Wheatstone en 1837 ou encore la machine "Euphonia" de Joseph Faber en 1846.
Dans les années 30 Bell Labs ont développés le vocoder, un codec vocal capable d'analyser automatiquement le langage. A partir de ceci Homer Dudley créa un synthétiseur de voix à clavier appelé le Voder(Voice Operating Demonstrator).
En 1950, le Dr. Franklin S. Cooper et ses collègues des laboratoires Haskins terminent leur lecteur de motif, machine convertissant des images de motif acoustique (sous forme de spectrogramme) en son.

[[File:Ère_mécanique.PNG]]

=== Ère électronique ===
Les premiers systèmes de synthèse vocale par ordinateur sont apparus à la fin des années 50.
En 1961 les physiciens John Larry Kelly et Louis Gerstman ont utilisé un IBM 704 pour synthétiser de la parole: c'est d'ailleurs ce système qui est utilisé dans 2001: L'Odyssée de l'Espace (l'ordinateur HAL 9000).
En 1968 sort le premier système de Text-To-Speech générique anglais, développé par Noriko Umeda. Dans la fin des années 60 et le début des années 70 le Linear Predictive Coding(LPC), une forme de codage de la parole, voit le jour. Le LPC est majoritairement utilisé pour représenter l'enveloppe spectral d'un signal digital de parole sous sa forme compressé et sera dans la fin des années 70 la base des systèmes embarqués de synthèse vocale.
En 1975 l'un des premiers systèmes de synthèse vocale, le MUSA(MUltichannel Speaking Automaton) sort; cela consistait simplement en un ordinateur avec dessus installé un logiciel permettant de lire l'italien.
Toujours en 1975, Fumitada Itakura a développé la méthode Line Spectral Pairs(LSP) pour une haute compression du codage de la parole. En 1980, son équipe sorti une puce de synthèse vocale basé sur le LSP. Par la suite, le LSP sera reconnu comme quasi essentiel et dans les années 90 sera adopté dans pratiquement tous les standards du codage de la parole.

== Enjeux de la technologie ==

La difficulté que cette technologie rencontre vient de la complexité du langage humain. En effet, si pour le verbal (qui touche uniquement au contenue dit), il semble envisageable de le convertir en voix, il est autrement plus compliqué d’y ajouter la prosodie, “comment on le dit”. Cette dernière comporte tous les aspects de la parole qui ne tient pas du contenue. Soit le ton, le rythme, les pauses, l’accentuation, et le débit de la parole. Ces éléments restent un point essentiel dans la communication orale et les retranscrire via la machine est tout le défi du text-to-speech.

== Synthèse vocale ==
Une fois que la machine connaît les sons qu’elle doit dire, il lui faut encore savoir comment les générer. Pour cela, il y a 3 grandes approches.

-Synthèse par concaténation

-Synthèse par Formant

-Deep Learning

=== Synthèse par concaténation ===
Le principe de la concaténation est simple, on met bout-à-bout les sons nécessaires pour former la parole. Cela demande cependant d’enregistrer au préalable ces sons et d’avoir une bonne mémoire pour les stocker. C’est pour cela qu’il y a différentes façons de mettre en place ce genre de synthèse.
La méthode qui est le plus utilisée, car le plus “naturel” à l’écoute consiste à avoir tous les sons possibles d’une langue, pas seulement les phonèmes, mais aussi les diphones (son entre 2 phonèmes) et autres briques élémentaires de la parole. Cette méthode reste très coûteuse en données et sur une mauvaise “partitions” de phonèmes, présenteras des glitch auditif. (Exemples :Vocaloid/Utauloid synthèse de chant)
Pour des textes à vocabulaire restreint il est possible d’enregistrer directement des bouts de phrase. Très proche de la parole humaine car peu retouché par la machine, il reste cependant très limité car impossible d’utiliser des mots non-enregistrés. L’un des meilleurs exemples est la voix de la sncf qui annonce les trains.
Il y a également un mix entre la synthèse par concaténation et par formant, avec la synthèse par diphones. Son principe étant de concaténer des sont généré par ordinateur et les diphones enregistrés, limitant ainsi les données à transporter. Peu utilisé car sonne moins “vrai”, on a cependant le modèle Mbrola qui fonctionne très bien.

=== Synthèse par formant ===
La synthèse par formant est également simple dans son approche : on génère tous les sons par ordinateur. Les phonèmes, diphones et autres étant caractérisés par des formant, les fréquences fondamentales du son les produisant. Ainsi, le son /i/ se forme avec les formants 1 à 250 Hz, le 2 à 2250 Hz et le 3 à 3000 Hz.Ce processus donne des sons bien moins réalistes que la concaténation, mais tient bien plus facilement dans un système embarqué.

=== Deep learning ===
La troisième grande méthode pour synthétiser une voix est le deep learning. Apparue beaucoup plus récemment que les autres techniques (2016-2017, par Google et Facebook), son principe repose sur l'entraînement d’un réseau de neurones pour lier un texte avec le spectre d’une voix disant ce texte. On ne passe plus par la conversion en phonème. Les résultats sont extrêmement bons. Comme le processus apprend également la prosodie du locuteur, il la répliquera, donnant ainsi un résultat très proche de l’humain. Le procédé reproduit la voix et l’accent de la personne qui à servi à l'entraînement. Il y a tout de même des limites, la prosodie ainsi créée n’est pas garantie d’être en lien avec le texte : un ton joyeux pour un texte triste est vite arrivé. Il ne faut pas oublier également que cette technologie est très coûteuse en calcul, tant pour l’apprentissage que pour son utilisation.

== Conclusion ==

Le TTS est une technologie bien maîtrisée, preuve en est de son utilisation déjà présente dans la vie courante. Ses diverses méthodes permettent une utilisation plus ou moins poussée, du système embarqué à l'entraînement intensif de réseau de neurone, du tout automatisé au grand contrôle de l’humain.
En somme c’est une technologie dont l’avenir viendra uniquement de son perfectionnement, sur tous ses plans.

VT2021 TTS fiche

2021-12-13T09:49:34Z

Kevin.Cosotti: /* Synthèse vocale */

VT2021 TTS fiche

2021-12-13T09:49:13Z

Kevin.Cosotti:

2021-12-13T09:33:48Z

Kevin.Cosotti: Kevin.Cosotti uploaded a new version of File:Ère mécanique.PNG

2021-12-13T09:24:23Z

Kevin.Cosotti:

VT2021 TTS fiche

2021-12-13T08:43:46Z

Kevin.Cosotti:

VT2021

2021-12-13T08:34:35Z

Kevin.Cosotti:

[[VT2020|<< Etudes 2020]] [[VT|Sommaire]] [[VT2022|Etudes 2022 >>]]

=Veille Technologique et Stratégique=
* Enseignants: [[User:Gpbonneau|Georges-Pierre Bonneau]], [[User:Donsez|Didier Donsez]]
* UE/Module: EAM (HPRJ9R6B) et EAR (HPRJ9R4B) en 1FO5

L'objectif de cette UE est de réaliser un travail de synthèse et d’évaluation sur une technologie / spécification / tendance

Dans votre futur vie d'ingénieur, vous aurez à d'une part, vous former par vous-même sur une technologie émergente et d'autre part à réaliser une veille technologique (et stratégique) par rapport à votre entreprise et projet.
Il s'agira de réaliser
* le positionnement par rapport au marché
* d'être critique

Votre synthèse fait l'objet d'une présentation orale convaincante devant un auditoire (dans le futur, vos collègues, vos chefs ou vos clients) avec des transparents et un discours répété.
Pour finir de convaincre (Saint Thomas), vous ferez la présentation d'une démonstration.

Votre présentation sera notée et commentée par tous vos camarades via un sondage (téléphone mobile). Leurs notes et leurs commentaires seront notés en fonction de leur exactitude de jugement.

Remarque: Le [https://fr.wikipedia.org/wiki/Plagiat plagiat] est incompatible avec l'éthique de l'ingénieur. Le directeur d'école peut demander votre traduction devant la commission disciplinaire de l'université. La sanction peut aller jusqu’à une interdiction d'inscription dans les établissements de l'enseignement supérieur français pendant plusieurs années : Le jeu en vaut-il la chandelle ?

La présentation peut être réalisée avec [[reveal.js]] ou avec [[remarkjs]]

[[File:presentation-VT-INFO5-2122.pdf|transparents d'introduction à l'UE]]

=Planning=

== Séance 1 : 15/11 ==
exceptionnellement en distanciel [https://univ-grenoble-alpes-fr.zoom.us/j/98434116324?pwd=NmJHVFZvQm9LQWtYclF3U09QVjZVQT09]
Enseignants :[[User:Donsez|Didier Donsez]]

Présentation et organisation.

== Séance 2 : 22/11 ==
Enseignants : [[User:Gpbonneau|Georges-Pierre Bonneau]], [[User:Donsez|Didier Donsez]]

* Bio-inspired algoritms, BAUDEUR Bertrand, TONDEUX Emilie, [[File:VT2021_BioInspiredAlgo_presentation.pdf|présentation]], [[VT2021_BioInspiredAlgo_fiche|fiche]], [[VT2021_BioInspiredAlgo_demo|demo]], [https://montube.com/AZERTYUIO screencast]
* Le langage Zig, PARA Yaël, MALOD Victor, [[File:VT2021_Zig_presentation.pdf|présentation]], [[VT2021_Zig_fiche|fiche]], [[VT2021_Zig_demo|demo]], [https://montube.com/AZERTYUIO screencast]
* GitHub Copilot, BLANQUET Antoine, PRAT CAPILLA Hugo, [[File:VT2021_GitHubCopilot_presentation.pdf|présentation]], [[VT2021_GitHubCopilot_fiche|fiche]], [[VT2021_GitHubCopilot_demo|demo]], [https://montube.com/AZERTYUIO screencast]

== Séance 3 : 29/11 ==
Enseignants : [[User:Donsez|Didier Donsez]]

* Cloud Hypervisor, CHALOYARD Lucas, EL YANDOUZI Elias, [[File:Cloud Hypervisor.pdf|présentation]], [[VT2021_Cloud-Hypervisor_Fiche|fiche]], [https://www.youtube.com/watch?v=UsMEkOlImgw Démo à 26:30], [https://montube.com/AZERTYUIO screencast]
* Kind, GITTON Antoine, MINIER MANCINI Titouan, [[File:VT2021_Kind_presentation.pdf|présentation]], [[VT2021_Kind_fiche|fiche]], [[VT2021_Kind_demo|demo]], [https://montube.com/AZERTYUIO screencast]
* Apache Workflow, JULIENNE Malone, CAMBUS Quentin, [[File:VT2021_ApacheAirflow_presentation.pdf|présentation]], [[VT2021_ApacheAirflow_fiche|fiche]], [[VT2021_ApacheAirflow_demo|demo]], [https://montube.com/AZERTYUIO screencast]

== Séance 4 : 6/12 ==
Enseignants : [[User:Gpbonneau|Georges-Pierre Bonneau]], [[User:Donsez|Didier Donsez]]

* Content Delivery Networks (CDN), REGOUIN Roman, ANDRIEUX Liam, [[File:VT2021_XXXX_presentation.pdf|présentation]], [[VT2021_CDN_fiche|fiche]], [[VT2021_XXX_demo|demo]], [https://montube.com/AZERTYUIO screencast]
* Netflix Cosmos, HERQUE Eric, VACHERIAS Guillaume, [[File:VT2021_Netflix_Cosmos_presentation.pdf|présentation]], [[VT2021_Netflix_Cosmos_fiche|fiche]], [[VT2021_XXX_demo|demo]], [https://montube.com/AZERTYUIO screencast]
* Web Browser Fingerprinting, LANQUETIN Alexis, GONZALEZ Jules, [[File:Web Browser FingerPrint.pdf|présentation]], [[VT2021_fingerprinting|fiche]], [[demo]], [https://montube.com/AZERTYUIO screencast]
* Vie privée et objets connectés, Mertens Gilles, Soulard Alexandre, [[File:VT2021_vie_privee_et_objets_connectes_presentation.pdf|présentation]], [[VT2021_vie_privee_et_objets_connectes_fiche|fiche]], [[VT2021_XXX_demo|demo]], [https://montube.com/AZERTYUIO screencast]

== Séance 5 : 13/12 ==
Enseignants : [[User:Gpbonneau|Georges-Pierre Bonneau]], [[User:Donsez|Didier Donsez]]

* Fintech et OpenBanking, LAMBERT Paul, ELHADJI TCHIAMBOU Sami, [[File:VT2021_XXXX_presentation.pdf|présentation]], [[VT2021_fintech_fiche|fiche]], [[VT2021_XXX_demo|demo]], [https://montube.com/AZERTYUIO screencast] (port de la cravate exigée)
* Merkle trees, HUMBERT Corentin, YUNG Kevin, [[File:VT2021_Merkle_Trees_presentation.pdf|présentation]], [[VT2021_Merkle_Trees_fiche|fiche]], [[VT2021_Merkle_Trees_demo|demo]], [https://montube.com/AZERTYUIO screencast]
* Blockchain Elrond, BARET Dorian, GEITNER Teva, [[File:VT2021_XXXX_presentation.pdf|présentation]], [[VT2021_XXX_fiche|fiche]], [[VT2021_XXX_demo|demo]], [https://montube.com/AZERTYUIO screencast]
* Text to Speech, Granger Oscar, Cosotti Kevin [[File:VT2021_XXXX_presentation.pdf|présentation]], [[VT2021_TTS_fiche|fiche]], [[VT2021_XXX_demo|demo]], [https://montube.com/AZERTYUIO screencast]

== Séance 6 : 3/1 ==
Enseignants : [[User:Gpbonneau|Georges-Pierre Bonneau]], [[User:Donsez|Didier Donsez]]

* Psychométrie, LAMBERT Daphné, DREZET Lucas, [[File:VT2021_XXXX_presentation.pdf|présentation]], [[VT2021_XXX_fiche|fiche]], [[VT2021_XXX_demo|demo]], [https://montube.com/AZERTYUIO screencast]
* GPT, AGUIAR Mathilde, HAJJI Oumaima, [[File:VT2021_XXXX_presentation.pdf|présentation]], [[VT2021_XXX_fiche|fiche]], [[VT2021_XXX_demo|demo]], [https://montube.com/AZERTYUIO screencast]
* TinyML, Buisine Julien, Mallen Guillaume, [[File:VT2021_XXXX_presentation.pdf|présentation]], [[VT2021_XXX_fiche|fiche]], [[VT2021_XXX_demo|demo]], [https://montube.com/AZERTYUIO screencast]

== Séance 7 : 10/1 ==
Enseignants : [[User:Gpbonneau|Georges-Pierre Bonneau]], [[User:Donsez|Didier Donsez]]

* CMS, SARRE Margaux, NOERIE Sophie, [[File:VT2021_XXXX_presentation.pdf|présentation]], [[VT2021_XXX_fiche|fiche]], [[VT2021_XXX_demo|demo]], [https://montube.com/AZERTYUIO screencast]
* Underwater Wireless Communications, MUTEL Mathis, SIDIBE Rose, [[File:VT2021_XXXX_presentation.pdf|présentation]], [[VT2021_XXX_fiche|fiche]], [[VT2021_XXX_demo|demo]], [https://montube.com/AZERTYUIO screencast]
* ROS2, MALECOT Ethan, CIRSTEA Paul, [[File:VT2021_XXXX_presentation.pdf|présentation]], [[VT2021_XXX_fiche|fiche]], [[VT2021_XXX_demo|demo]], [https://montube.com/AZERTYUIO screencast]

== Séance 8 : Asynchrone ==
Enseignants : [[User:Gpbonneau|Georges-Pierre Bonneau]], [[User:Donsez|Didier Donsez]]

=Sujets=
# [[Web Browser Fingerprinting]]
# [[Fintech]] & [[Open banking]] (système bancaire ouvert)
# [[Géolocalisation Ultra Wideband]] : fonctionnement, applications (Apple AirTags, Galaxy SmartTag+) ...
# [[Application Performance Monitoring]] : démonstration de [[Apache Skywalking]]
# [[GitHub Copilot]]
# [[GPT-J, GPT-3, GPT-2]]
# [[WebRTC]] : Web Real-Time Communication
# [[Low Code Development]]
# Le langage de programmation [[Zig]]
# [[Text-to-Speech]] : technologies et services et [[SSML]]: démonstration de l'intégration des service TTS Wavenet de GCP et Amazon Polly dans eCOM (pour un binome).
# [[ROS2]] : Robot Operating System version 2
# [[TinyML]] : démonstration avec une carte STM32F7 (à récupérer au fablab).
# [[Multi-Region Database Deployments: Patterns and Anti-Patterns]] : démonstration avec [[Cockroack]]
# [[Proof of Coverage Blockchain]] : démonstration d'[[Helium]] avec une gateway LoRa
# [[IPFS (InterPlanetary File System)]]
# [[Géolocalisation Wifi : principles et services de géolocalisation Wifi et cellulaire]]
# [[Kind]] : Goodbye minikube
# [[Netflix Cosmos]]
# [[Rudder]]
# [[Thread]] : démonstration avec le kit [[STM32WB55]]
# [[Remote sensing]]
# [[Caches distribués]]: démonstration avec [[Redis]]
# [[Log Structured Merge Trees]]
# [[Merkle Trees]]
# [[Riak]] Database System
# [[Flux]] (#fluxlang) new data scripting language to make querying and analyzing time series
# [[NATS]]: PubSub broker (démonstration avec CampusIoT)
# In-memory Distributed Data Grid : démonstration de eCom avec [[Apache Ignite]].
# [[jQAssistant]] : application à eCOM
# [[IoT Dataflow Mashup]] (démo avec [[Eclipse Kura Wires]])
# [[Géo-réplication]] : Démo avec [[Apache Kafka MirrorMaker]]
# [[Pulsar]]
# [[RSocket]]
# [[Nacos]] : open source project by Alibaba for service discovery and service configuration.
# [[NEMU]] : open source hypervisor specifically built and designed to run modern cloud workloads on modern 64-bit Intel and ARM CPUs.
# [[Fission]] : open-source serverless function framework for [[Kubernetes]] with a focus on developer productivity and high performance.
# [[Microclimate]]
# [[AdTech]]
# [[Conflict-free replicated data type]] (CRDT)
# [[In-Memory Data Grids]] : Démonstration de [[Gigaspaces]] et [[XAP]] Open Source
# Gestionnaires de contenu : démonstration de [[Apache Jackrabbit]] dans le projet [[eCOM]]
# [[Memory-centric virtual distributed storage system]]
# [[ESB]] : démonstration de [[Mule ESB]]
# [[MemCached]]
# [[ Voice-First Development]] : Designing, Developing, and Deploying Conversational Interfaces
# [[Psychométrie]]
# [[Apache Beam]]
# [[Hazelcast]] : Démo avec Spring Boot ([https://dzone.com/storage/assets/6459742-dzone-rc247-gettingstartedwithspringbootandmicrose.pdf lien]) dans un projet [[JHipster]]
# [[In-Memory Data Grids]] : Démonstration de [[Gigaspaces]] et [[XAP]] Open Source
# Insport Video
# Gestionnaires de contenu : démonstration de [[Apache Jackrabbit]] dans le projet [[eCOM]]
# [[Memory-centric virtual distributed storage system]]
# [[Performance Monitoring]]
# [[Access Network Query Protocol (ANQP)]]
# [[JCache]] : démonstration avec [[Apache Ignity]]
# [[MemCached]]
# [[Apache Stratos]]
# [[gceasy]] : Universal garbage collection log Analyser
# [[Apache Solr]] : Démonstration avec [http://hortonworks.com/hadoop-tutorial/indexing-and-searching-text-within-images-with-apache-solr/ Tesseract OCR]
# [[Content Delivery Network]]s : Démonstration de [[Amazon S3]], Azure, Akamaï ... sur votre projet [[ECOM-RICM|eCOM]]
# [[CMS]] : Demo avec [[Crafter CMS]]
# [[DMS]] (GED) : Demo avec la version Community Edition d'[[Alfresco]] et de son API REST avec [[Swagger]] ANNULé
# [[SIG]] : Démonstration de [[QGIS]]
# [[Apache Airflow]]
# [[AzureRTOS]] : système d'exploitation pour l'Internet des Objets. démonstration sur [https://www.st.com/en/evaluation-tools/b-l475e-iot01a.html B-L475] à récupérer au fablab.
# Algorithmes et systèmes de vote électronique : vices et vertus.
# [[Normes et systèmes de signature électronique]]
# Database as a Microservice : [[HarperDB]]
# [[Underwater Wireless Communications]]
# [[TiDB]]
# [[Pantavisor Linux]]: A Framework for Building Containerized IoT Systems

VT2021 TTS fiche

2021-12-13T08:31:15Z

Kevin.Cosotti: Created page with "= TextToSpeech = '''COSOTTI Kévin (kevin.cosotti@etu.univ-grenoble-alpes.fr) - GRANGER Oscar (oscar.granger@etu.univ-grenoble-alpes.fr)'''"

= TextToSpeech =

'''COSOTTI Kévin ([[kevin.cosotti@etu.univ-grenoble-alpes.fr]]) - GRANGER Oscar ([[oscar.granger@etu.univ-grenoble-alpes.fr]])'''

VT2021 CDN fiche

2021-12-13T08:13:47Z

Kevin.Cosotti:

= Content Delivery Network =

'''ANDRIEUX Liam ([[liam.adnrieux@etu.univ-grenoble-alpes.fr]]) - REGOUIN Roman ([[roman.regouin@etu.univ-grenoble-alpes.fr]])'''

== Résumé ==
=== Résumé ===
Un "réseau de distribution de contenu" ou "Content Delivery Network" (CDN) est un réseau géographiquement distribué de serveurs proxy et de centre de données avec pour objectif de rendre hautement disponible la distribution de service relativement à l'utilisateur. Il est constitué d’un serveur d'origine (généralement l'application) qui va injecter son contenu dans le réseau. Il est aussi constitué de serveurs périphériques (appelé PoP pour Point of Presence) déployés à plusieurs endroits géographiquement distincts, où les contenus sont répliqués et mis en cache au plus proche de l’utilisateur. Il comprend un mécanisme de routage qui permet de servir l’utilisateur avec le serveur périphérique le plus proche.

L'impact direct d'un CDN est l'amélioration de l'expérience utilisateur en réduisant la latence entre l'utilisateur et le contenu. Il permet aussi une meilleure mise à l'échelle ainsi qu'une meilleure résistance aux attaques DDoS (attaque par dénis de service distribué) notamment grâce à des filtres sur des protocoles en périphérie du réseau.
Il est à noter qu’un CDN peut représenter un certain nombre d'inconvénients, entre autres les coûts supplémentaires qu’il peut engendrer ou la fuite de données potentiellement critique vers d’autres entreprises.

'''Mots clefs :''' PoP, Serveur, DDoS, Réseau, Performance, Latence, Cache, Disponibilité, Mise à l’echelle.

=== Abstract ===
A Content Delivery Network (CDN) is a geographic distributed network of proxy servers and data centers whose main goal is to make the service distribution highly available relative to the end user. It is composed of an origin server (generally the application server) which will dispatch his resources in the network. It is also composed of peripheral servers (called PoP) deployed at multiple distincts geographical places. It includes a routing mechanism allowing the system to serve the end user with the closest peripheral server.

The direct impact of using a CDN is the improvement of user experience by reducing the latency between the user and the content. It also allows scalability and a better resistance to DDos attacks (Distributed denial of service attack) mainly with filters on protocole at the edge of the network.
It should be noted that a CDN can represent a number of cons, notably the additional costs it can produce or the loss of critical data to other companies

== Fonctionnement ==
=== Vue d'ensemble ===
Un "réseau de distribution de contenu" ou "Content Delivery Network" (CDN) est un réseau géographiquement distribué de serveurs proxy et de centre de données avec pour objectif de rendre hautement disponible la distribution de service relativement à l'utilisateur.
Il est constitué de serveurs périphériques (PoP pour Point of Presence) déployés à plusieurs endroits géographiquement distincts, où les contenus sont répliqués et mis en cache au plus proche de l’utilisateur. Il est constitué d’un serveur d'origine (généralement l'application) qui va injecter son contenu dans le réseau. En cas d’une requête reçue par l’un de ses PoPs, s’il dispose du contenu demandé, alors on a un “Cache Hit” et le PoP délivre directement le contenu demandé. Dans le cas où il ne dispose pas du contenu demandé, dans le cas d’un contenu dynamique ou juste pas encore mis en cache, alors on a un “Cache Miss”. Il transfère la requête au serveur origine puis si possible il met en cache la réponse avant de l’envoyer à l’utilisateur. Dans certains cas, les Pops sont indépendants les uns des autres et seul le pop ayant fait la requête a mis en cache la réponse. Dans d’autres cas, la réponse est distribuée entre plusieurs PoPs, soit par groupe de PoPs localisé dans une même zone géographique, soit sur tous les PoPs d’un CDN.

Les serveurs PoPs doivent respecter les réglementations du pays où ils sont installés et cela peut parfois devenir très contraignant quand on essaye de mettre en place son propre CDN. C’est pourquoi des services de CDN existent et qui s'occupent de placer leur serveurs PoP sur tous les continents tout en respectant les réglementations en vigueur.
Il comprend aussi un mécanisme de routage qui permet de servir l’utilisateur avec le serveur périphérique le plus proche pour optimiser les performances du CDN.

=== Routage CDN===

Pour mettre en place un CDN, il faut mettre en place un ou plusieurs record Cname auprès de son fournisseur DNS (Domain Name System) pour que le routage vers le nom de domaine de notre serveur passe par le CDN. Un fichier Cname est un fichier permettant d’indiquer un sous-domaine. Cela permet de rediriger les requêtes vers le nom de domaine du fournisseur CDN. Puis auprès du fournisseur CDN, il faut indiquer via un record A pour indiquer l’adresse de notre serveur quand il y’a un cache Miss

=== Type de CDN===

*'''Push CDN'''

Dans un CDN de type push, c’est l’application qui va charger de son propre chef du contenu sur les CDN. Par exemple pour le déploiement d’une nouvelle mise à jour d’un logiciel, le(s) serveur(s) d'origine va charger la mise à jour dans les PoP.

[[File:CDNPush.jpg|CDN Push Type]]

*'''Pull CDN'''

Dans un CDN de type pull, c’est le CDN qui va demander (du à une requête d’un client) au serveur de l’application du contenu pour ensuite le mettre en cache.

[[File:CDNPull.jpg|CDN Pull Type]]

== Utilité ==

=== Rapidité de Distribution ===

On a beau optimiser les performances de notre serveur au maximum pour minimiser le temps de traitement pour une requête utilisateur, quoi qu’il arrive on est limité par les contraintes que nous impose le monde physique. Nos informations ne pourront jamais atteindre nos utilisateurs plus vite que la vitesse de la lumière (299 792 458 m/s).
C’est l’un des problèmes que le CDN permet de contourner en fournissant le contenu au plus proche des utilisateurs et permet de réduire drastiquement la latence entre les utilisateurs et le contenu désiré.

=== Réduction de la Charge Serveur et Haute Disponibilité ===

De manière indirecte, le CDN permet par son fonctionnement de réduire la charge du serveur. En mettant en cache le contenu dans les serveurs périphériques, cela permet de filtrer une grande partie des requêtes qui sont directement délivrées par le CDN.

De la même manière, cela permet d’augmenter la disponibilité du serveur d’origine. Celui-ci n’étant que très rarement chargé, il n’y a que peu de risques de saturation du serveur d’origine et garantit de ce fait une meilleure disponibilité.
Un point qui peut être souligné, il arrive parfois que grâce à un CDN, un site puisse toujours être accessible malgré le fait que le serveur soit tombé en panne. Cela peut s’expliquer par le fait que la majorité du contenu du serveur d’origine soit encore stocké dans le CDN ce qui permet de livrer le contenu aux utilisateurs. Ceux-ci ne sont donc même pas au courant que le serveur est en panne.

Enfin, en cas d’un pic d’affluence de visiteurs, qui peut parfois ressembler à une attaque DDos, le CDN permet d’encaisser cette affluence avec la répartition géographique des visiteurs sur les différents serveurs périphériques.

=== Sécurité ===
De manière générale, les services de CDN garantissent l’usage des certificats SSL utilisés pour les requêtes HTTPs. Cependant, la majorité des services de CDN propose davantage de sécurité notamment contre les attaques DDos (attaque par dénis de service distribué).
De par son architecture qui met en cache le contenu et ne permet pas de liaison directe avec le serveur d’origine, un CDN permet naturellement une première protection contre les attaques de type DDos en répartissant la charge de l’attaque sur l’ensemble des serveurs périphériques. Leur cache permet de livrer rapidement les requêtes et de contenir la haute fréquence de requête des attaques. Cependant, dans le cas de très grosse attaque DDos, cela ne peut pas suffire. C’est pourquoi les services de CDN appliquent des filtres sur les couches 3/4 (UDP,ICMP,SYN) et la couche 7 en inspectant le contenu HTTP pour limiter l’impact des attaques DDos.

== Limitations ==

La mise en place d’un CDN ajoute une complexité non négligeable.

=== Coût ===

Suivant le fournisseur, les prix peuvent varier. Des fournisseurs comme CloudFlare donnent accès aux fonctionnalités de base gratuitement. Pour des fonctionnalités supplémentaires c’est un paiement fixe par mois (20~200 USD/mois). Nous avons aussi Azure CDN qui lui opte pour une facturation “pay as you go” (0,081 USD/Go).

=== Perte de Contrôle ===

Les CDN sont proposés par des tiers, de ce fait, on accorde sa confiance. Les données stockées sur les CDN peuvent ne plus être entièrement privées.
De plus, les infrastructures sont aussi gérées par ces tiers, nous n'avons donc aucun contrôle dessus, les CDN peuvent tomber en panne et nous devons faire confiance au tiers pour qu’ils soient restaurés.
Suivant les plan de tarifications, le contrôle des données peut varier, par exemple sur “CloudFlare”, le plan gratuit permet seulement de vider le cache du CDN et non de visualiser ce qui en cache.

=== Localisation des Services ===

La plupart des CDNs route les utilisateurs vers le PoP le proche. Cependant dans le cas où notre application d’origine est sur un serveur en France et que le fournisseur de CDN n’a pas de PoP en France mais seulement en Chine, un utilisateur en france sera redirigé vers le Pop de Chine ce qui entraînera de la latence. Si nous avions pas de CDN en place, l’utilisateur aurait été dirigé directement vers le serveur de l’application qui est en france.

== Mettre en place ==

Voir la documentation du fournisseur ;)

VT2021 CDN fiche

2021-12-13T08:13:09Z

Kevin.Cosotti:

= Content Delivery Network =

'''ANDRIEUX dit Liam ([[liam.adnrieux@etu.univ-grenoble-alpes.fr]]) - REGOUIN Roman ([[roman.regouin@etu.univ-grenoble-alpes.fr]])'''

== Résumé ==
=== Résumé ===
Un "réseau de distribution de contenu" ou "Content Delivery Network" (CDN) est un réseau géographiquement distribué de serveurs proxy et de centre de données avec pour objectif de rendre hautement disponible la distribution de service relativement à l'utilisateur. Il est constitué d’un serveur d'origine (généralement l'application) qui va injecter son contenu dans le réseau. Il est aussi constitué de serveurs périphériques (appelé PoP pour Point of Presence) déployés à plusieurs endroits géographiquement distincts, où les contenus sont répliqués et mis en cache au plus proche de l’utilisateur. Il comprend un mécanisme de routage qui permet de servir l’utilisateur avec le serveur périphérique le plus proche.

L'impact direct d'un CDN est l'amélioration de l'expérience utilisateur en réduisant la latence entre l'utilisateur et le contenu. Il permet aussi une meilleure mise à l'échelle ainsi qu'une meilleure résistance aux attaques DDoS (attaque par dénis de service distribué) notamment grâce à des filtres sur des protocoles en périphérie du réseau.
Il est à noter qu’un CDN peut représenter un certain nombre d'inconvénients, entre autres les coûts supplémentaires qu’il peut engendrer ou la fuite de données potentiellement critique vers d’autres entreprises.

'''Mots clefs :''' PoP, Serveur, DDoS, Réseau, Performance, Latence, Cache, Disponibilité, Mise à l’echelle.

=== Abstract ===
A Content Delivery Network (CDN) is a geographic distributed network of proxy servers and data centers whose main goal is to make the service distribution highly available relative to the end user. It is composed of an origin server (generally the application server) which will dispatch his resources in the network. It is also composed of peripheral servers (called PoP) deployed at multiple distincts geographical places. It includes a routing mechanism allowing the system to serve the end user with the closest peripheral server.

The direct impact of using a CDN is the improvement of user experience by reducing the latency between the user and the content. It also allows scalability and a better resistance to DDos attacks (Distributed denial of service attack) mainly with filters on protocole at the edge of the network.
It should be noted that a CDN can represent a number of cons, notably the additional costs it can produce or the loss of critical data to other companies

== Fonctionnement ==
=== Vue d'ensemble ===
Un "réseau de distribution de contenu" ou "Content Delivery Network" (CDN) est un réseau géographiquement distribué de serveurs proxy et de centre de données avec pour objectif de rendre hautement disponible la distribution de service relativement à l'utilisateur.
Il est constitué de serveurs périphériques (PoP pour Point of Presence) déployés à plusieurs endroits géographiquement distincts, où les contenus sont répliqués et mis en cache au plus proche de l’utilisateur. Il est constitué d’un serveur d'origine (généralement l'application) qui va injecter son contenu dans le réseau. En cas d’une requête reçue par l’un de ses PoPs, s’il dispose du contenu demandé, alors on a un “Cache Hit” et le PoP délivre directement le contenu demandé. Dans le cas où il ne dispose pas du contenu demandé, dans le cas d’un contenu dynamique ou juste pas encore mis en cache, alors on a un “Cache Miss”. Il transfère la requête au serveur origine puis si possible il met en cache la réponse avant de l’envoyer à l’utilisateur. Dans certains cas, les Pops sont indépendants les uns des autres et seul le pop ayant fait la requête a mis en cache la réponse. Dans d’autres cas, la réponse est distribuée entre plusieurs PoPs, soit par groupe de PoPs localisé dans une même zone géographique, soit sur tous les PoPs d’un CDN.

Les serveurs PoPs doivent respecter les réglementations du pays où ils sont installés et cela peut parfois devenir très contraignant quand on essaye de mettre en place son propre CDN. C’est pourquoi des services de CDN existent et qui s'occupent de placer leur serveurs PoP sur tous les continents tout en respectant les réglementations en vigueur.
Il comprend aussi un mécanisme de routage qui permet de servir l’utilisateur avec le serveur périphérique le plus proche pour optimiser les performances du CDN.

=== Routage CDN===

Pour mettre en place un CDN, il faut mettre en place un ou plusieurs record Cname auprès de son fournisseur DNS (Domain Name System) pour que le routage vers le nom de domaine de notre serveur passe par le CDN. Un fichier Cname est un fichier permettant d’indiquer un sous-domaine. Cela permet de rediriger les requêtes vers le nom de domaine du fournisseur CDN. Puis auprès du fournisseur CDN, il faut indiquer via un record A pour indiquer l’adresse de notre serveur quand il y’a un cache Miss

=== Type de CDN===

*'''Push CDN'''

Dans un CDN de type push, c’est l’application qui va charger de son propre chef du contenu sur les CDN. Par exemple pour le déploiement d’une nouvelle mise à jour d’un logiciel, le(s) serveur(s) d'origine va charger la mise à jour dans les PoP.

[[File:CDNPush.jpg|CDN Push Type]]

*'''Pull CDN'''

Dans un CDN de type pull, c’est le CDN qui va demander (du à une requête d’un client) au serveur de l’application du contenu pour ensuite le mettre en cache.

[[File:CDNPull.jpg|CDN Pull Type]]

== Utilité ==

=== Rapidité de Distribution ===

On a beau optimiser les performances de notre serveur au maximum pour minimiser le temps de traitement pour une requête utilisateur, quoi qu’il arrive on est limité par les contraintes que nous impose le monde physique. Nos informations ne pourront jamais atteindre nos utilisateurs plus vite que la vitesse de la lumière (299 792 458 m/s).
C’est l’un des problèmes que le CDN permet de contourner en fournissant le contenu au plus proche des utilisateurs et permet de réduire drastiquement la latence entre les utilisateurs et le contenu désiré.

=== Réduction de la Charge Serveur et Haute Disponibilité ===

De manière indirecte, le CDN permet par son fonctionnement de réduire la charge du serveur. En mettant en cache le contenu dans les serveurs périphériques, cela permet de filtrer une grande partie des requêtes qui sont directement délivrées par le CDN.

De la même manière, cela permet d’augmenter la disponibilité du serveur d’origine. Celui-ci n’étant que très rarement chargé, il n’y a que peu de risques de saturation du serveur d’origine et garantit de ce fait une meilleure disponibilité.
Un point qui peut être souligné, il arrive parfois que grâce à un CDN, un site puisse toujours être accessible malgré le fait que le serveur soit tombé en panne. Cela peut s’expliquer par le fait que la majorité du contenu du serveur d’origine soit encore stocké dans le CDN ce qui permet de livrer le contenu aux utilisateurs. Ceux-ci ne sont donc même pas au courant que le serveur est en panne.

Enfin, en cas d’un pic d’affluence de visiteurs, qui peut parfois ressembler à une attaque DDos, le CDN permet d’encaisser cette affluence avec la répartition géographique des visiteurs sur les différents serveurs périphériques.

=== Sécurité ===
De manière générale, les services de CDN garantissent l’usage des certificats SSL utilisés pour les requêtes HTTPs. Cependant, la majorité des services de CDN propose davantage de sécurité notamment contre les attaques DDos (attaque par dénis de service distribué).
De par son architecture qui met en cache le contenu et ne permet pas de liaison directe avec le serveur d’origine, un CDN permet naturellement une première protection contre les attaques de type DDos en répartissant la charge de l’attaque sur l’ensemble des serveurs périphériques. Leur cache permet de livrer rapidement les requêtes et de contenir la haute fréquence de requête des attaques. Cependant, dans le cas de très grosse attaque DDos, cela ne peut pas suffire. C’est pourquoi les services de CDN appliquent des filtres sur les couches 3/4 (UDP,ICMP,SYN) et la couche 7 en inspectant le contenu HTTP pour limiter l’impact des attaques DDos.

== Limitations ==

La mise en place d’un CDN ajoute une complexité non négligeable.

=== Coût ===

Suivant le fournisseur, les prix peuvent varier. Des fournisseurs comme CloudFlare donnent accès aux fonctionnalités de base gratuitement. Pour des fonctionnalités supplémentaires c’est un paiement fixe par mois (20~200 USD/mois). Nous avons aussi Azure CDN qui lui opte pour une facturation “pay as you go” (0,081 USD/Go).

=== Perte de Contrôle ===

Les CDN sont proposés par des tiers, de ce fait, on accorde sa confiance. Les données stockées sur les CDN peuvent ne plus être entièrement privées.
De plus, les infrastructures sont aussi gérées par ces tiers, nous n'avons donc aucun contrôle dessus, les CDN peuvent tomber en panne et nous devons faire confiance au tiers pour qu’ils soient restaurés.
Suivant les plan de tarifications, le contrôle des données peut varier, par exemple sur “CloudFlare”, le plan gratuit permet seulement de vider le cache du CDN et non de visualiser ce qui en cache.

=== Localisation des Services ===

La plupart des CDNs route les utilisateurs vers le PoP le proche. Cependant dans le cas où notre application d’origine est sur un serveur en France et que le fournisseur de CDN n’a pas de PoP en France mais seulement en Chine, un utilisateur en france sera redirigé vers le Pop de Chine ce qui entraînera de la latence. Si nous avions pas de CDN en place, l’utilisateur aurait été dirigé directement vers le serveur de l’application qui est en france.

== Mettre en place ==

Voir la documentation du fournisseur ;)

VT2021 CDN fiche

2021-12-13T08:12:28Z

Kevin.Cosotti: