VT2020-OpenAI GPT-3-Fiche - Revision history

Baptiste.Boleat at 11:19, 3 January 2021

2021-01-03T11:19:41Z

← Older revision		Revision as of 11:19, 3 January 2021
Line 92:		Line 92:
	#[https://arxiv.org/abs/2005.14165 OpenAI: '''Language Models are Few-Shot Learners'''] (étude menée par des chercheurs d'OpenAI sur les performances de leur modèle linguistique)		#[https://arxiv.org/abs/2005.14165 OpenAI: '''Language Models are Few-Shot Learners'''] (étude menée par des chercheurs d'OpenAI sur les performances de leur modèle linguistique)
	#[https://arxiv.org/abs/1906.02243 College of Information and Computer Sciences University of Massachusetts Amherst: '''Energy and Policy Considerations for Deep Learning in NLP'''] (étude de l'université d'Amherst sur l'impact environnemental de l'entraînement de réseaux de neurones)		#[https://arxiv.org/abs/1906.02243 College of Information and Computer Sciences University of Massachusetts Amherst: '''Energy and Policy Considerations for Deep Learning in NLP'''] (étude de l'université d'Amherst sur l'impact environnemental de l'entraînement de réseaux de neurones)
	#[https://www.infoq.com/news/2020/10/training-exceeds-gpt3/ Anthony Alford: '''AI Training Method Exceeds GPT-3 Performance with 99.9% Fewer Parameters'''] (article évoquant une nouvelle méthode de deep learning, PET, qui nécessite moins de ~~paramètre~~ et qui semble efficace avec suffisamment d'exemples)		#[https://www.infoq.com/news/2020/10/training-exceeds-gpt3/ Anthony Alford: '''AI Training Method Exceeds GPT-3 Performance with 99.9% Fewer Parameters'''] (article évoquant une nouvelle méthode de deep learning, PET, qui nécessite moins de paramètres et qui semble efficace avec suffisamment d'exemples)

	= Veille Technologique 2020 =		= Veille Technologique 2020 =

Baptiste.Boleat at 11:19, 3 January 2021

2021-01-03T11:19:19Z

← Older revision		Revision as of 11:19, 3 January 2021
Line 45:		Line 45:

	Les '''''tokens''''' peuvent s'apparenter à ce qu'on appelle le contexte linguistique en français. Cependant, un mot ne correspond pas forcément à un token, par exemple GPT-3 explique que le nom propre "Descartes" se décomposera en 3 tokens : "Desc", "art" et "es". La limite de 2048 tokens pour le ''prompt'' et la ''completione'' revient donc à une limite d'environ 1500 mots.		Les '''''tokens''''' peuvent s'apparenter à ce qu'on appelle le contexte linguistique en français. Cependant, un mot ne correspond pas forcément à un token, par exemple GPT-3 explique que le nom propre "Descartes" se décomposera en 3 tokens : "Desc", "art" et "es". La limite de 2048 tokens pour le ''prompt'' et la ''completione'' revient donc à une limite d'environ 1500 mots.

	AJOUTER IMAGE

	=Quelques chiffres=		=Quelques chiffres=

Baptiste.Boleat at 11:17, 3 January 2021

2021-01-03T11:17:35Z

← Older revision		Revision as of 11:17, 3 January 2021
Line 99:		Line 99:
	* Année : [[VT2020]]		* Année : [[VT2020]]
	* Sujet : OpenAI GPT-3		* Sujet : OpenAI GPT-3
	* Slides : [[Media:~~VT2020~~-~~MemSQL~~-~~Presentation~~.pdf\|~~Slides~~]]''		* Slides : [https://baptboleat.github.io/gpt3-presentation/ slides] ([[Media:GPT-3-presentation.pdf\|version pdf]])
			* Auteurs : Baptiste Boléat

Baptiste.Boleat at 10:56, 3 January 2021

2021-01-03T10:56:33Z

← Older revision		Revision as of 10:56, 3 January 2021
Line 79:		Line 79:

	= Sources =		= Sources =
			#[https://beta.openai.com/dashboard?supportSignUp=true&supportForgotPassword=true&email=bat.boleat13%40gmail.com&message=Your%20email%20was%20verified.%20You%20can%20continue%20using%20the%20application.&success=true&code=success# OpenAI: '''OpenAI API'''] (accessible seulement après inscription sur la [https://share.hsforms.com/1Lfc7WtPLRk2ppXhPjcYY-A4sk30 liste d'attente])

			#[https://openai.com/about/ OpenAI: '''About OpenAI''']
			#[https://openai.com/timeline/ OpenAI: '''OpenAI timeline''']
			#[https://siecledigital.fr/2019/03/13/openai-devient-une-societe-a-but-lucratif-plafonne-pour-attirer-de-nouveaux-capitaux/ Siecle Digital: '''OpenAI devient une société à « but lucratif plafonné » pour attirer de nouveaux capitaux''']
			#[https://siecledigital.fr/2020/07/21/gpt-3-limpressionnant-modele-de-traitement-du-langage-naturel-dopenai/ Siecle Digital: '''GPT-3 : OpenAI dévoile son impressionnant modèle de traitement de langage naturel''']
			#[https://fr.wikipedia.org/wiki/OpenAI Wikipedia: '''OpenAI''']
			#[https://www.lesnumeriques.com/appli-logiciel/gpt-3-l-intelligence-artificielle-qui-ecrit-des-articles-presque-seule-a154707.html LesNumériques: '''GPT-3, l'intelligence artificielle qui écrit des articles (presque) seule''']
			#[https://github.com/elyase/awesome-gpt3 elyase: '''awesome-gpt3 (dépot qui recense les démonstrations existantes de GPT-3)''']
			#[https://www.lemonde.fr/sciences/article/2020/11/03/gpt-3-l-intelligence-artificielle-qui-a-appris-presque-toute-seule-a-presque-tout-faire_6058322_1650684.html#:~:text=GPT%2D3%20appartient%20%C3%A0%20la,partir%20de%20donn%C3%A9es%20d'entra%C3%AEnement. Le Monde: '''GPT-3, l’intelligence artificielle qui a appris presque toute seule à presque tout faire'''] (Laurent Besacier est cité dans l'article !)
			#[https://medium.com/walmartglobaltech/the-journey-of-open-ai-gpt-models-32d95b7b7fb2 Priya Shree: '''The Journey of Open AI GPT models''']
			#[https://www.sigmoid.com/blogs/gpt-3-all-you-need-to-know-about-the-ai-language-model/ Sigmoid: '''GPT-3: All you need to know about the AI language model''']
			#[https://lambdalabs.com/blog/demystifying-gpt-3/ lambdalabs: '''OpenAI's GPT-3 Language Model: A Technical Overview''']
			#[https://dugas.ch/artificial_curiosity/GPT_architecture.html dugas.ch: '''The GPT-3 Architecture, on a Napkin'''] (vulgarisation du fonctionnement des réseaux de neurones et leur application à GPT-3)
			#[https://arxiv.org/abs/2005.14165 OpenAI: '''Language Models are Few-Shot Learners'''] (étude menée par des chercheurs d'OpenAI sur les performances de leur modèle linguistique)
			#[https://arxiv.org/abs/1906.02243 College of Information and Computer Sciences University of Massachusetts Amherst: '''Energy and Policy Considerations for Deep Learning in NLP'''] (étude de l'université d'Amherst sur l'impact environnemental de l'entraînement de réseaux de neurones)
			#[https://www.infoq.com/news/2020/10/training-exceeds-gpt3/ Anthony Alford: '''AI Training Method Exceeds GPT-3 Performance with 99.9% Fewer Parameters'''] (article évoquant une nouvelle méthode de deep learning, PET, qui nécessite moins de paramètre et qui semble efficace avec suffisamment d'exemples)

	= Veille Technologique 2020 =		= Veille Technologique 2020 =

Baptiste.Boleat at 16:08, 2 January 2021

2021-01-02T16:08:42Z

← Older revision		Revision as of 16:08, 2 January 2021
Line 76:		Line 76:
	= Démonstration =		= Démonstration =

	Une [https://air.imag.fr/index.php/VT2020-~~MemSQL~~-Demo démonstration] est disponible.		Une [https://air.imag.fr/index.php/VT2020-GPT-3-Demo démonstration] est disponible.

	= Sources =		= Sources =

Baptiste.Boleat at 15:18, 2 January 2021

2021-01-02T15:18:44Z

← Older revision		Revision as of 15:18, 2 January 2021
Line 17:		Line 17:
	[[File:Comparaison-modeles.png\|582px\|thumb\|center\|Nombre de paramètres de GPT-3 par rapport aux précédents modèles visible [https://towardsdatascience.com/gpt-3-the-new-mighty-language-model-from-openai-a74ff35346fc ici]]]		[[File:Comparaison-modeles.png\|582px\|thumb\|center\|Nombre de paramètres de GPT-3 par rapport aux précédents modèles visible [https://towardsdatascience.com/gpt-3-the-new-mighty-language-model-from-openai-a74ff35346fc ici]]]

	==Les tâches qu'il peut réaliser==		===Les tâches qu'il peut réaliser===

	La spécificité des modèles de langage GPT par rapport à leurs concurrents est leur généralisme. En effet, il existe plusieurs tâches auxquelles ils peuvent répondre :		La spécificité des modèles de langage GPT par rapport à leurs concurrents est leur généralisme. En effet, il existe plusieurs tâches auxquelles ils peuvent répondre :
Line 36:		Line 36:
	Là ou la plupart des modèles actuels sont entraînés pour une seule de ces taches bien précises, GPT-3 est lui capable d'effectuer n'importe laquelle avec une efficacité impressionnante. Et en réalité, GPT-3 est plutôt une famille de modèles qu'un modèle en lui-même. En effet, il a été décliné en plusieurs modèles parmi lesquels figurent les 4 dont on a accès avec la bêta : ''davinci'', ''curie'', ''babbage'', ''ada''. ''Davinci'' étant le plus capable mais par ailleurs le plus complexe, tandis qu'''ada'' est le plus rapide mais le moins capable.		Là ou la plupart des modèles actuels sont entraînés pour une seule de ces taches bien précises, GPT-3 est lui capable d'effectuer n'importe laquelle avec une efficacité impressionnante. Et en réalité, GPT-3 est plutôt une famille de modèles qu'un modèle en lui-même. En effet, il a été décliné en plusieurs modèles parmi lesquels figurent les 4 dont on a accès avec la bêta : ''davinci'', ''curie'', ''babbage'', ''ada''. ''Davinci'' étant le plus capable mais par ailleurs le plus complexe, tandis qu'''ada'' est le plus rapide mais le moins capable.

	==Les concepts clés de GPT-3==		===Les concepts clés de GPT-3===

	Pour bien comprendre comment utiliser l'API, il y a 3 concepts à saisir : le '''''prompt''''', la '''''completion''''' et les '''''tokens'''''.		Pour bien comprendre comment utiliser l'API, il y a 3 concepts à saisir : le '''''prompt''''', la '''''completion''''' et les '''''tokens'''''.

Baptiste.Boleat at 18:37, 22 December 2020

2020-12-22T18:37:53Z

← Older revision		Revision as of 18:37, 22 December 2020
Line 45:		Line 45:

	Les '''''tokens''''' peuvent s'apparenter à ce qu'on appelle le contexte linguistique en français. Cependant, un mot ne correspond pas forcément à un token, par exemple GPT-3 explique que le nom propre "Descartes" se décomposera en 3 tokens : "Desc", "art" et "es". La limite de 2048 tokens pour le ''prompt'' et la ''completione'' revient donc à une limite d'environ 1500 mots.		Les '''''tokens''''' peuvent s'apparenter à ce qu'on appelle le contexte linguistique en français. Cependant, un mot ne correspond pas forcément à un token, par exemple GPT-3 explique que le nom propre "Descartes" se décomposera en 3 tokens : "Desc", "art" et "es". La limite de 2048 tokens pour le ''prompt'' et la ''completione'' revient donc à une limite d'environ 1500 mots.

			AJOUTER IMAGE

	=Quelques chiffres=		=Quelques chiffres=

Baptiste.Boleat at 18:36, 22 December 2020

2020-12-22T18:36:47Z

← Older revision		Revision as of 18:36, 22 December 2020
Line 15:		Line 15:


	[[File:~~Comparaisons~~-modeles.png\|~~800px~~\|thumb\|center\|Nombre de paramètres de GPT-3 par rapport aux précédents modèles. © ~~willstats~~]]		[[File:Comparaison-modeles.png\|582px\|thumb\|center\|Nombre de paramètres de GPT-3 par rapport aux précédents modèles visible [https://towardsdatascience.com/gpt-3-the-new-mighty-language-model-from-openai-a74ff35346fc ici]]]

	==Les tâches qu'il peut réaliser==		==Les tâches qu'il peut réaliser==
Line 50:		Line 50:
	- Le réseaux de neurones qui a permis d'entraîner GPT-3 est fait de 96 couches. A titre de comparaison, son dauphin Turing-NLG (Microsoft) en utilisait 78 et GPT-2 en utilisait 48.		- Le réseaux de neurones qui a permis d'entraîner GPT-3 est fait de 96 couches. A titre de comparaison, son dauphin Turing-NLG (Microsoft) en utilisait 78 et GPT-2 en utilisait 48.

	- Cette intelligence artificielle utilisée manipule non pas des mots mais des vecteurs construits à partir du vocabulaire qu'il connait et la fréquence d'apparition de ces mots. Seulement ici ces vecteurs ne comportent pas que 2 dimensions mais 12288. On appelle ~~cette~~ paramètre le '''word-embedding'''.		- Cette intelligence artificielle utilisée manipule non pas des mots mais des vecteurs construits à partir du vocabulaire qu'il connait et la fréquence d'apparition de ces mots. Seulement ici ces vecteurs ne comportent pas que 2 dimensions mais 12288. On appelle ce paramètre le '''word-embedding'''.

	- L'ordinateur utilisé pour l’entraîner figure parmi les 10 plus puissants du monde et il est doté d'environ 10 000 cartes graphiques (Quadro RTX 8000). Cet entraînement sur un seul GPU prendrait 355 ans et coûterait 4.6 millions de dollars d'après [https://lambdalabs.com/blog/demystifying-gpt-3/ lambda-computing].		- L'ordinateur utilisé pour l’entraîner figure parmi les 10 plus puissants du monde et il est doté d'environ 10 000 cartes graphiques (Quadro RTX 8000). Cet entraînement sur un seul GPU prendrait 355 ans et coûterait 4.6 millions de dollars d'après [https://lambdalabs.com/blog/demystifying-gpt-3/ lambda-computing].
Line 69:		Line 69:
	* Tirant la majeure partie de ses données d'entraînement sur internet, GPT-3 est très sujet aux préjugés et aux discriminations :		* Tirant la majeure partie de ses données d'entraînement sur internet, GPT-3 est très sujet aux préjugés et aux discriminations :


	[[File:Racial-~~sentitment~~.png\|~~377px~~\|thumb\|~~none~~\| Des chercheurs ont écrit des phrases du type "l'homme {couleur de peau} était très" 800 fois pour chaque couleur et ont calculé un score d'"assentiment" pour chacune d'elle (étude complète [https://arxiv.org/abs/2005.14165 ici])]]		[[File:Racial-sentiment.png\|627px\|thumb\|center\| Des chercheurs ont écrit des phrases du type "l'homme {couleur de peau} était très" 800 fois pour chaque couleur et ont calculé un score d'"assentiment" pour chacune d'elle (étude complète [https://arxiv.org/abs/2005.14165 ici])]]

	= Démonstration =		= Démonstration =

Baptiste.Boleat at 18:22, 22 December 2020

2020-12-22T18:22:37Z

@@ Line 1: / Line 1: @@
 = OpenAI =
 En Mars 2019, consciente de la difficulté de rester à la pointe de la recherche en IA, l'association devient une association à "but lucratif plafonné" pour attirer des capitaux et augmenter les investissements.
 Puis en Septembre de la même année, ils publient GPT-2 : un modèle de traitement du langage naturel évidemment basé sur l'intelligence artificielle et intégrant un milliard et demi de paramètres. En Juillet 2020, ils publient un nouveau modèle sobrement intitulé GPT-3, contenant lui, 175 milliards de paramètres.
 = GPT-3 =
 GPT-3 est donc comme son prédécesseur un modèle de langage (ou modèle linguistique) qui a été créé à partir d'un réseau de neurones. Son acronyme signifie "generative pre-training" simplement car, d'une part il est génératif dans le sens ou il ne se contente pas de répondre oui ou non à une question mais il est capable de générer une longue séquence de texte original qu'on appellera '''completion''' . D'autre part il est préformé car il a été formé sur un ensemble de données d'entraînement, ici un dataset dit CommonCrawl. Cela consiste en un florilège de 45 Teraoctets des pages Web les plus populaires des dernières années (entre 2016 et 2019). Ces données ont également été complétées par OpenAI avec des ouvrages d'autre type comme des livres.
 ==Les tâches qu'il peut réaliser==
@@ Line 26: / Line 34: @@
-Là ou la plupart des modèles actuels sont entraîné pour une seule de ces taches bien précises, GPT-3 est lui capable d'effectuer n'importe laquelle de celle-ci avec une efficacité impressionnante.
+Là ou la plupart des modèles actuels sont entraînés pour une seule de ces taches bien précises, GPT-3 est lui capable d'effectuer n'importe laquelle avec une efficacité impressionnante. Et en réalité, GPT-3 est plutôt une famille de modèles qu'un modèle en lui-même. En effet, il a été décliné en plusieurs modèles parmi lesquels figurent les 4 dont on a accès avec la bêta : ''davinci'', ''curie'', ''babbage'', ''ada''. ''Davinci'' étant le plus capable mais par ailleurs le plus complexe, tandis qu'''ada'' est le plus rapide mais le moins capable.
 = Limites et dangers =
@@ Line 33: / Line 65: @@
 * Le modèle n'est pas performant lorsqu'on lui passe des textes avec des sous-entendus, il ne distingue pas le sens implicite des textes. Il est également peu efficace lorsqu'on lui passe par exemple un texte à trou.
 = Démonstration =
@@ Line 45: / Line 81: @@
 * Année : [[VT2020]]
 * Sujet : OpenAI GPT-3
-* Slides : [[Media:VT2020-MemSQL-Presentation.pdf|Slides]]
+* Slides : [[Media:VT2020-MemSQL-Presentation.pdf|Slides]]''

Baptiste.Boleat at 10:58, 20 December 2020

2020-12-20T10:58:26Z

@@ Line 7: / Line 7: @@
 = GPT-3 =
-GPT-3 est donc comme son prédécesseur un modèle de langage (ou modèle linguistique) qui a été créé à partir d'un réseau de neurones. Son acronyme signifie "generative pre-training" simplement car, d'une part il est génératif dans le sens ou il ne se contente pas de répondre oui ou non à une question mais il est capable de générer une longue séquence de texte original qu'on appellera '''completion''' . D'autre part il est préformé car il a
+GPT-3 est donc comme son prédécesseur un modèle de langage (ou modèle linguistique) qui a été créé à partir d'un réseau de neurones. Son acronyme signifie "generative pre-training" simplement car, d'une part il est génératif dans le sens ou il ne se contente pas de répondre oui ou non à une question mais il est capable de générer une longue séquence de texte original qu'on appellera '''completion''' . D'autre part il est préformé car il a été formé sur un ensemble de données d'entraînement, ici un dataset dit CommonCrawl. Cela consiste en un florilège de 45 Teraoctets des pages Web les plus populaires des dernières années (entre 2016 et 2019). Ces données ont également été complétées par OpenAI avec des ouvrages d'autre type comme des livres.
 * Sa completion peut parfois perdre de la cohérence si on lui demande de formuler de long textes, il a tendance à se répéter dans ce cas de figure.
 * Le modèle n'est pas performant lorsqu'on lui passe des textes avec des sous-entendus, il ne distingue pas le sens implicite des textes. Il est également peu efficace lorsqu'on lui passe par exemple un texte à trou.