Proj-2013-2014-Sign2Speech-Spanish
Objectivo
El objetivo del proyecto es desarrollar una programa que permita a una persona muda de communicarse con una computadora. La aplicación deberá ser capable de entender el lenguaje de señas para obedecer a las órdenes dadas por la persona, de afichar en la pantalla su traducción textual y de dictarla con una síntesis vocal.
El programa ofrecerá también la funcionalidad de aprender nuevos gestos para aumentar su conocimiento sobre el lenguaje de los signos y de esa manera reconocer cada vez más ideas.
Equipo
- Coordinador: Didier Donsez
- Miembros: Arthur CLERC-GHERARDI, Patrick PEREA
- Département : RICM 4, Polytech Grenoble
Estado de la técnica
Reconocimiento del alfabeto del lenguaje de los signos
Reconocimiento de los gestos particulares que transmiten ideas (cámara ZCam)
Reconnaissance de gestes particuliers qui véhiculent des idées (Kinect)
Herramientas
Les technologies de reconnaissance des gestes que nous allons explorer pour ce projet seront :
- Le Leap Motion
Le Leap motion est un appareil permettant de piloter un ordinateur avec les mains. Il n'y a donc aucun contact physique et la communication avec l'ordinateur est basée sur les gestes. Le Leap motion se place sous les mains, près du clavier.
Le grand avantage par rapport à la Kinect est sa taille. En effet, l'appareil ne mesure que 8 x 2,9 x 1,1 cm et a un taux de rafraichissement de 200 Hz contre 30 Hz pour la Kinect. Le Leap motion possède deux webcams de 1,3 mégapixel qui filment vers le haut en stéréoscopie et 3 led infrarouges. Il est capable de détecter la position des dix doigts de la main.
Le site officiel contient une section pour les développeurs. Il est possible de télécharger la SDK 1.0 (de 47 Mo environ) qui contient des API pour les langages C++, C#, Java, Python, Objective C et JavaScript. La SDK contient également des exemples pour apprendre à utiliser les librairies et fonctions.
- La camera Creative de Intel® Perceptual Computing SDK
La caméra Creative est également une caméra qui permettra de contrôler l'ordinateur à distance. Elle se place devant la personne qui veut s'en servir.
Cette caméra propose une reconnaissance de profondeur, ce qui permet de faire la différence entre les différents plans. Cette caméra propose environ 30 ips et peut filmer en 720p. De plus elle peut faire de la 3D en reconnaissant les contours de visages.
Intel propose également un SDK pour les développeurs : [1]. Avec des librairies qui nous aideront pour le tracking des mains et des doigts ainsi que pour la reconnaissance faciale.