Synthese - Revision history

Remi.varenne: /* Neural Processing Unit */

2020-01-06T10:49:03Z

Neural Processing Unit

← Older revision		Revision as of 10:49, 6 January 2020
Line 117:		Line 117:

	On y retrouve aussi le moteur d'inférence qui utilise une API commune pour délivrer des solutions d'inférence sur la plateforme choisie: CPU, GPU, VPU ou FPGA. Il fonctionne sur différentes couches avec différentes (comme par exemple un GPU and des couches sélectionnées sur un CPU). Il implémente des couches customizes sur un CPU tout en exécutant la topologie restante sur un GPU - sans avoir à réécrire les couches personnalisées. Il peut aussi optimiser les charges de travail (analyse des graphiques de calcul, ordonnancement et compression des modèles) pour le matériel cible grâce à une solution de notation conviviale intégrée, profiter de la nouvelle exécution asynchrone pour améliorer les performances de la fréquence d'images tout en limitant les cycles perdus , et utiliser une API C++ ou Python pratique pour travailler sur les fichiers IR et optimiser l'inférence.		On y retrouve aussi le moteur d'inférence qui utilise une API commune pour délivrer des solutions d'inférence sur la plateforme choisie: CPU, GPU, VPU ou FPGA. Il fonctionne sur différentes couches avec différentes (comme par exemple un GPU and des couches sélectionnées sur un CPU). Il implémente des couches customizes sur un CPU tout en exécutant la topologie restante sur un GPU - sans avoir à réécrire les couches personnalisées. Il peut aussi optimiser les charges de travail (analyse des graphiques de calcul, ordonnancement et compression des modèles) pour le matériel cible grâce à une solution de notation conviviale intégrée, profiter de la nouvelle exécution asynchrone pour améliorer les performances de la fréquence d'images tout en limitant les cycles perdus , et utiliser une API C++ ou Python pratique pour travailler sur les fichiers IR et optimiser l'inférence.

			== Références ==
			* [https://fr.wikipedia.org/wiki/Puce_d%27accélération_de_réseaux_de_neurones#cite_note-28 Neural Processing Unit]
			* [https://www.movidius.com/ Le Intel Movidius, un dongle USB conçu pour le "vision processing"]
			* [https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf ImageNet Classification with deep convolutional neural networks]
			* [https://arxiv.org/pdf/1102.0183.pdf High-Performance Neural Networks for Visual Object Classification]
			* [https://insidehpc.com/2017/06/inspurs-unveils-gx4-ai-accelerator/ Inspur unveils GX4 AI accelerator]
			* [https://www.researchgate.net/publication/15149042_Designing_a_connectionist_network_supercomputer Designing a connectionist network supercomputer]
			* [https://www.researchgate.net/publication/220851449_Video_Processing_and_Retrieval_on_Cell_Processor_Architecture Video processing and retrieval on cell processor architecture]
			* [https://software.intel.com/en-us/articles/improving-the-compute-performance-of-video-processing-software-using-avx-advanced-vector-extensions-instructions Improving the compute performance of video processing software using Intel advanced vector extensions (Intel AVX) instructions]
			* [https://hal.inria.fr/inria-00112631/document High Performance Convolutional Neural Networks for Document Processing High performance convolutional neural networks for document processing]
			* [https://devblogs.nvidia.com/how-nvlink-will-enable-faster-easier-multi-gpu-computing/ How NVLink will enable faster, easier multi-GPU computing]
			* [https://www.nextplatform.com/2016/08/23/fpga-based-deep-learning-accelerators-take-asics/ FPGA based deep-learning accelerator take on asics]
			* [https://www.nextplatform.com/2015/08/27/microsoft-extends-fpga-reach-from-bing-to-deep-learning/ Microsoft extends FPGA reach from Bing to deep learning]
			* [https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/CNN20Whitepaper.pdf Accelerating deep convolutional neural networks using specialized hardware]
			* [http://techreport.com/news/30155/google-boosts-machine-learning-with-its-tensor-processing-unit Google boosts machine learning with its Tensor Processing Unit]
			* [https://www.sciencedaily.com/releases/2016/02/160203134840.htm Chip could bring deep learning to mobile devices]
			* [https://arxiv.org/pdf/1502.02551.pdf deep learning with limited numerical precision]
			* [https://www.intel.ai/intel-nervana-neural-network-processors-nnp-redefine-ai-silicon/ Intel Nervana neural network processors redefine AI Silicon]
			* [https://www.huawei.com/en/press-events/news/2017/9/mobile-ai-ifa-2017 Huawei reveals the future of mobile AI at IFA 2017]
			* [https://www.extremetech.com/extreme/187612-ibm-cracks-open-a-new-era-of-computing-with-brain-like-chip-4096-cores-1-million-neurons-5-4-billion-transistors IBM cracks open a new era of computing with brain-like chip: 4096 cores, 1 million neurons, 5.4 billion transistors]
			* [https://newsroom.intel.com/editorials/intels-new-self-learning-chip-promises-accelerate-artificial-intelligence/ Intel’s new self-learning chip promises to accelerate AI]

Remi.varenne: /* Proposition de systèmes existants */

2020-01-06T10:20:18Z

Proposition de systèmes existants

← Older revision		Revision as of 10:20, 6 January 2020
Line 83:		Line 83:

	=== Intel Neural Compute Stick 2 ===		=== Intel Neural Compute Stick 2 ===
			[[File:NCS2.png\|400px\|thumb\|right\|Intel Neural Compute Stick 2]]

	Le Intel Neural Compute Stick 2 (NCS2) est un kit de développement plug and play pour l'intelligence artificielle. Il a été développé pour être utilisé aussi bien sur Ubuntu que Windows et MacOS ainsi qu'avec des prototype avec dispositifs à faible coût tel que le Raspeberry PI*3. Le NCS2 a été conçu pour utilisé les frameworks communs d'intelligence artificielle tel que Tensorflow, Keras ou Pytorch et il fonctionne sans dépendance se trouvant dans le cloud contrairement à la puce d'Apple.		Le Intel Neural Compute Stick 2 (NCS2) est un kit de développement plug and play pour l'intelligence artificielle. Il a été développé pour être utilisé aussi bien sur Ubuntu que Windows et MacOS ainsi qu'avec des prototype avec dispositifs à faible coût tel que le Raspeberry PI*3. Le NCS2 a été conçu pour utilisé les frameworks communs d'intelligence artificielle tel que Tensorflow, Keras ou Pytorch et il fonctionne sans dépendance se trouvant dans le cloud contrairement à la puce d'Apple.

Remi.varenne: /* Proposition de systèmes existants */

2020-01-06T10:16:47Z

Proposition de systèmes existants

← Older revision		Revision as of 10:16, 6 January 2020
Line 77:		Line 77:

	=== HiSilicon Kirin 970 ===		=== HiSilicon Kirin 970 ===
			[[File:Kirin.png\|300px\|thumb\|right\| Kirin 980]]
⚫	Huawei suit le même principe qu’Apple avec sa propre puce.Kirin 970 est alimenté par un CPU 8 cœurs et un GPU 12 cœurs de nouvelle génération. La puce regroupe 5,5 milliards de transistors dans une surface de seulement un cm2. La nouvelle figure de proue en terme de NPU de Huawei, le Kirin 970, est la première plate-forme informatique mobile d'IA de HUAWEI dotée d'un NPU dédié. Comparée à un cluster de CPU quadricœur Cortex-A73, la nouvelle architecture de calcul hétérogène de Kirin 970 offre jusqu'à 25 fois plus de performances avec une efficacité 50 fois supérieure. En d'autres termes, le Kirin 970 peut exécuter les mêmes tâches de calcul AI plus rapidement et avec beaucoup moins de puissance. Lors d'un test de reconnaissance d'images de référence, la Kirin 970 a traité 2000 images par minute, ce qui est plus rapide que les autres puces actuel du marché.

		⚫	Huawei suit le même principe qu’Apple avec sa propre puce. Kirin 970 est alimenté par un CPU 8 cœurs et un GPU 12 cœurs de nouvelle génération. La puce regroupe 5,5 milliards de transistors dans une surface de seulement un cm2. La nouvelle figure de proue en terme de NPU de Huawei, le Kirin 970, est la première plate-forme informatique mobile d'IA de HUAWEI dotée d'un NPU dédié. Comparée à un cluster de CPU quadricœur Cortex-A73, la nouvelle architecture de calcul hétérogène de Kirin 970 offre jusqu'à 25 fois plus de performances avec une efficacité 50 fois supérieure. En d'autres termes, le Kirin 970 peut exécuter les mêmes tâches de calcul AI plus rapidement et avec beaucoup moins de puissance. Lors d'un test de reconnaissance d'images de référence, la Kirin 970 a traité 2000 images par minute, ce qui est plus rapide que les autres puces actuel du marché.

Remi.varenne: /* Google TPU */

2020-01-06T10:14:28Z

Google TPU

← Older revision		Revision as of 10:14, 6 January 2020
Line 57:		Line 57:
	== Proposition de systèmes existants ==		== Proposition de systèmes existants ==
	=== Google TPU ===		=== Google TPU ===
	[[File:TPU.png\|~~200px~~\|thumb\|right\|Tensor Processing Unit]]		[[File:TPU.png\|100px\|thumb\|right\|Tensor Processing Unit]]

	Le TPU est un ASIC conçu sur mesure suffisamment petit pour s'insérer dans un emplacement de disque dur dans les racks des centres de données de Google. Les ingénieurs de Google disent que le TPU offre une performance par Watt 10 fois plus performante que les solutions déjà commercialisées pour ce qui concerne les tâches de machine learning. Sans surprise, lue TPU est optimisé pour la librairie open-source de machine learning de google, Tenforflow. Il est très souvent utilisé pour l'utilisation de CNN. Il se concentre sur le calcul de valeurs codées sur 8 bits en grande quantité. L'adaptation du TPU à l'arithmétique faible précision a apparemment permis à Google de réaliser des gains importants en matière de conception matérielle. Cette approche a permis à l'entreprise d'éliminer un nombre important de transistors qui auraient autrement été nécessaires pour les opérations courantes.		Le TPU est un ASIC conçu sur mesure suffisamment petit pour s'insérer dans un emplacement de disque dur dans les racks des centres de données de Google. Les ingénieurs de Google disent que le TPU offre une performance par Watt 10 fois plus performante que les solutions déjà commercialisées pour ce qui concerne les tâches de machine learning. Sans surprise, lue TPU est optimisé pour la librairie open-source de machine learning de google, Tenforflow. Il est très souvent utilisé pour l'utilisation de CNN. Il se concentre sur le calcul de valeurs codées sur 8 bits en grande quantité. L'adaptation du TPU à l'arithmétique faible précision a apparemment permis à Google de réaliser des gains importants en matière de conception matérielle. Cette approche a permis à l'entreprise d'éliminer un nombre important de transistors qui auraient autrement été nécessaires pour les opérations courantes.

Remi.varenne: /* Neural Processing Unit */

2020-01-06T10:13:30Z

Neural Processing Unit

← Older revision		Revision as of 10:13, 6 January 2020
Line 57:		Line 57:
	== Proposition de systèmes existants ==		== Proposition de systèmes existants ==
	=== Google TPU ===		=== Google TPU ===
	[[File:TPU.png\|200px\|right]]		[[File:TPU.png\|200px\|thumb\|right\|Tensor Processing Unit]]

	Le TPU est un ASIC conçu sur mesure suffisamment petit pour s'insérer dans un emplacement de disque dur dans les racks des centres de données de Google. Les ingénieurs de Google disent que le TPU offre une performance par Watt 10 fois plus performante que les solutions déjà commercialisées pour ce qui concerne les tâches de machine learning. Sans surprise, lue TPU est optimisé pour la librairie open-source de machine learning de google, Tenforflow. Il est très souvent utilisé pour l'utilisation de CNN. Il se concentre sur le calcul de valeurs codées sur 8 bits en grande quantité. L'adaptation du TPU à l'arithmétique faible précision a apparemment permis à Google de réaliser des gains importants en matière de conception matérielle. Cette approche a permis à l'entreprise d'éliminer un nombre important de transistors qui auraient autrement été nécessaires pour les opérations courantes.		Le TPU est un ASIC conçu sur mesure suffisamment petit pour s'insérer dans un emplacement de disque dur dans les racks des centres de données de Google. Les ingénieurs de Google disent que le TPU offre une performance par Watt 10 fois plus performante que les solutions déjà commercialisées pour ce qui concerne les tâches de machine learning. Sans surprise, lue TPU est optimisé pour la librairie open-source de machine learning de google, Tenforflow. Il est très souvent utilisé pour l'utilisation de CNN. Il se concentre sur le calcul de valeurs codées sur 8 bits en grande quantité. L'adaptation du TPU à l'arithmétique faible précision a apparemment permis à Google de réaliser des gains importants en matière de conception matérielle. Cette approche a permis à l'entreprise d'éliminer un nombre important de transistors qui auraient autrement été nécessaires pour les opérations courantes.

	=== Intel Nervana NNP ===		=== Intel Nervana NNP ===
	[[File:NNP.png\|300px\|~~clumb~~\|right\| Intel Nervana NNP]]		[[File:NNP.png\|300px\|thumb\|right\| Intel Nervana NNP]]

	L'Intel Nervana Neural Network Processor (NNP) est une architecture spécialement conçue pour le deep-learning. L'objectif de cette nouvelle architecture est de fournir la flexibilité nécessaire pour supporter toutes les primitives de deep-learning tout en rendant les composants matériels de base aussi efficaces que possible. L'Intel Nervana NNP a été conçu pour se libérer des limitations imposées par le matériel existant, qui n'était pas explicitement conçu pour l'IA.		L'Intel Nervana Neural Network Processor (NNP) est une architecture spécialement conçue pour le deep-learning. L'objectif de cette nouvelle architecture est de fournir la flexibilité nécessaire pour supporter toutes les primitives de deep-learning tout en rendant les composants matériels de base aussi efficaces que possible. L'Intel Nervana NNP a été conçu pour se libérer des limitations imposées par le matériel existant, qui n'était pas explicitement conçu pour l'IA.

Remi.varenne: /* Intel Nervana NNP */

2020-01-06T10:12:27Z

Intel Nervana NNP

← Older revision		Revision as of 10:12, 6 January 2020
Line 62:		Line 62:

	=== Intel Nervana NNP ===		=== Intel Nervana NNP ===
	[[File:NNP.~~jpeg~~\|300px\|clumb\|right]]		[[File:NNP.png\|300px\|clumb\|right\| Intel Nervana NNP]]

	L'Intel Nervana Neural Network Processor (NNP) est une architecture spécialement conçue pour le deep-learning. L'objectif de cette nouvelle architecture est de fournir la flexibilité nécessaire pour supporter toutes les primitives de deep-learning tout en rendant les composants matériels de base aussi efficaces que possible. L'Intel Nervana NNP a été conçu pour se libérer des limitations imposées par le matériel existant, qui n'était pas explicitement conçu pour l'IA.		L'Intel Nervana Neural Network Processor (NNP) est une architecture spécialement conçue pour le deep-learning. L'objectif de cette nouvelle architecture est de fournir la flexibilité nécessaire pour supporter toutes les primitives de deep-learning tout en rendant les composants matériels de base aussi efficaces que possible. L'Intel Nervana NNP a été conçu pour se libérer des limitations imposées par le matériel existant, qui n'était pas explicitement conçu pour l'IA.

Remi.varenne: /* Intel Nervana NNP */

2020-01-06T10:11:26Z

Intel Nervana NNP

← Older revision		Revision as of 10:11, 6 January 2020
Line 62:		Line 62:

	=== Intel Nervana NNP ===		=== Intel Nervana NNP ===
			[[File:NNP.jpeg\|300px\|clumb\|right]]

	L'Intel Nervana Neural Network Processor (NNP) est une architecture spécialement conçue pour le deep-learning. L'objectif de cette nouvelle architecture est de fournir la flexibilité nécessaire pour supporter toutes les primitives de deep-learning tout en rendant les composants matériels de base aussi efficaces que possible. L'Intel Nervana NNP a été conçu pour se libérer des limitations imposées par le matériel existant, qui n'était pas explicitement conçu pour l'IA.		L'Intel Nervana Neural Network Processor (NNP) est une architecture spécialement conçue pour le deep-learning. L'objectif de cette nouvelle architecture est de fournir la flexibilité nécessaire pour supporter toutes les primitives de deep-learning tout en rendant les composants matériels de base aussi efficaces que possible. L'Intel Nervana NNP a été conçu pour se libérer des limitations imposées par le matériel existant, qui n'était pas explicitement conçu pour l'IA.

Remi.varenne: /* Google TPU */

2020-01-06T10:10:10Z

Google TPU

← Older revision		Revision as of 10:10, 6 January 2020
Line 57:		Line 57:
	== Proposition de systèmes existants ==		== Proposition de systèmes existants ==
	=== Google TPU ===		=== Google TPU ===
	[[File:TPU.png\|~~300px~~\|right]]		[[File:TPU.png\|200px\|right]]

	Le TPU est un ASIC conçu sur mesure suffisamment petit pour s'insérer dans un emplacement de disque dur dans les racks des centres de données de Google. Les ingénieurs de Google disent que le TPU offre une performance par Watt 10 fois plus performante que les solutions déjà commercialisées pour ce qui concerne les tâches de machine learning. Sans surprise, lue TPU est optimisé pour la librairie open-source de machine learning de google, Tenforflow. Il est très souvent utilisé pour l'utilisation de CNN. Il se concentre sur le calcul de valeurs codées sur 8 bits en grande quantité. L'adaptation du TPU à l'arithmétique faible précision a apparemment permis à Google de réaliser des gains importants en matière de conception matérielle. Cette approche a permis à l'entreprise d'éliminer un nombre important de transistors qui auraient autrement été nécessaires pour les opérations courantes.		Le TPU est un ASIC conçu sur mesure suffisamment petit pour s'insérer dans un emplacement de disque dur dans les racks des centres de données de Google. Les ingénieurs de Google disent que le TPU offre une performance par Watt 10 fois plus performante que les solutions déjà commercialisées pour ce qui concerne les tâches de machine learning. Sans surprise, lue TPU est optimisé pour la librairie open-source de machine learning de google, Tenforflow. Il est très souvent utilisé pour l'utilisation de CNN. Il se concentre sur le calcul de valeurs codées sur 8 bits en grande quantité. L'adaptation du TPU à l'arithmétique faible précision a apparemment permis à Google de réaliser des gains importants en matière de conception matérielle. Cette approche a permis à l'entreprise d'éliminer un nombre important de transistors qui auraient autrement été nécessaires pour les opérations courantes.

Remi.varenne: /* Google TPU */

2020-01-06T10:09:33Z

Google TPU

← Older revision		Revision as of 10:09, 6 January 2020
Line 57:		Line 57:
	== Proposition de systèmes existants ==		== Proposition de systèmes existants ==
	=== Google TPU ===		=== Google TPU ===
			[[File:TPU.png\|300px\|right]]

	Le TPU est un ASIC conçu sur mesure suffisamment petit pour s'insérer dans un emplacement de disque dur dans les racks des centres de données de Google. Les ingénieurs de Google disent que le TPU offre une performance par Watt 10 fois plus performante que les solutions déjà commercialisées pour ce qui concerne les tâches de machine learning. Sans surprise, lue TPU est optimisé pour la librairie open-source de machine learning de google, Tenforflow. Il est très souvent utilisé pour l'utilisation de CNN. Il se concentre sur le calcul de valeurs codées sur 8 bits en grande quantité. L'adaptation du TPU à l'arithmétique faible précision a apparemment permis à Google de réaliser des gains importants en matière de conception matérielle. Cette approche a permis à l'entreprise d'éliminer un nombre important de transistors qui auraient autrement été nécessaires pour les opérations courantes.		Le TPU est un ASIC conçu sur mesure suffisamment petit pour s'insérer dans un emplacement de disque dur dans les racks des centres de données de Google. Les ingénieurs de Google disent que le TPU offre une performance par Watt 10 fois plus performante que les solutions déjà commercialisées pour ce qui concerne les tâches de machine learning. Sans surprise, lue TPU est optimisé pour la librairie open-source de machine learning de google, Tenforflow. Il est très souvent utilisé pour l'utilisation de CNN. Il se concentre sur le calcul de valeurs codées sur 8 bits en grande quantité. L'adaptation du TPU à l'arithmétique faible précision a apparemment permis à Google de réaliser des gains importants en matière de conception matérielle. Cette approche a permis à l'entreprise d'éliminer un nombre important de transistors qui auraient autrement été nécessaires pour les opérations courantes.

Remi.varenne: /* Neural Processing Unit */

2020-01-06T10:07:20Z

Neural Processing Unit

← Older revision		Revision as of 10:07, 6 January 2020
Line 1:		Line 1:
	= Neural Processing Unit =		= Neural Processing Unit =
⚫	[[File:NPU\|300px\|~~thumb\|center\|OpenVino~~]]

	== Description général ==		== Description général ==
		⚫	[[File:NPU.jpeg\|300px\|right]]

	Une puce d'accélération de réseaux neuronaux (appelé Neural Processing Unit ou NPU) est une forme de microprocesseur. Son but est d'accélérer un réseau de neurones artificiels pour des algorithmes de vision industrielle, de l'automatisation de drones, une amélioration de l'IoT.		Une puce d'accélération de réseaux neuronaux (appelé Neural Processing Unit ou NPU) est une forme de microprocesseur. Son but est d'accélérer un réseau de neurones artificiels pour des algorithmes de vision industrielle, de l'automatisation de drones, une amélioration de l'IoT.

Line 40:		Line 40:

	=== Utilisation des ASIC ===		=== Utilisation des ASIC ===
			[[File:Asic.png\|300px\|right]]

	On a donc noté que les GPU, ainsi que les FPGAs sur lesquels je reviendrai plus bas, permettent d’être beaucoup efficace que l’utilisation unique de CPU pour des tâches d’IA. Il est cependant possible d’être encore plus performant avec une conception toujours plus adaptée à son utilisation avec un "Application-specific integrated circuit" (ASIC). Un ASIC est un circuit intégré spécialisé sur lequel sont regroupées un grand nombre de fonctionnalité adaptées à la tâche future de ce circuit. Ils sont ainsi parfaitement adapté pour l'entrainement de modèle de réseaux neuronaux.		On a donc noté que les GPU, ainsi que les FPGAs sur lesquels je reviendrai plus bas, permettent d’être beaucoup efficace que l’utilisation unique de CPU pour des tâches d’IA. Il est cependant possible d’être encore plus performant avec une conception toujours plus adaptée à son utilisation avec un "Application-specific integrated circuit" (ASIC). Un ASIC est un circuit intégré spécialisé sur lequel sont regroupées un grand nombre de fonctionnalité adaptées à la tâche future de ce circuit. Ils sont ainsi parfaitement adapté pour l'entrainement de modèle de réseaux neuronaux.