EA2012-Motion Capture

Présentation

Title : Motion Capture : méthodes d'hier et d'aujourd'hui
Authors : Marie CHEVALLIER & Yacine FALL
Download : File:MotionCapture Chevallier Fall.pdf

Abstract

Motion capture has been greatly democratized the last few years. Video games, movies, art ... The techniques to capture the essence of human movement in the purest expression are present all around us. We will focus in this presentation on a wide pannel of currently existing methodologies for the motion capture. We will proceed with the description of the main uses of this technique. Then we will explore different ways to achieve it. Finally, we will list a few current products for motion capture.

Keywords

Motion capture, chronophotography, live performance, rotoscoping, potentiometer, image metric, organic motion, Kinect, Leap Motion

Résumé

La motion capture, ou capture du mouvement en français, s'est énormément démocratisée ces dernières années. Jeux vidéos, films, art... Les techniques pour capturer l'essence humaine, le mouvement dans la plus pure expression sont présentent tout autour de nous. Nous nous appliquerons dans cette présentation à balayer un large pannel des méthodologies existantes actuellement pour la motion capture. Nous procéderons à la description des principales utilisations de cette technique. Ensuite nous étudierons les différentes solutions pour le réaliser. Enfin, nous listerons quelques produits actuels pour la motion capture.

Mots clés

Motion capture, chronophotographie, capture de mouvement, live performance, rotoscopie, potentiomètre, image metric, organic motion, Kinect, Leap Motion

Synthèse

Définition

"The creation of a 3D representation of a live performance." 
    Understanding Motion Capture for Computer Animation and Video Games by Alberto Menache

"Une technique permettant de capter les mouvements d'un élément réel afin de les renvoyer dans un univers virtuel : les mouvements sont
enregistrés ou restitués en temps réel vers d'autres systèmes."
    Capture de mouvement - Wikipedia

Il s'agit donc, lorsqu'on parle de capture de mouvement (ou motion capture), de récupérer un mouvement physique pour l'interpréter dans un environnement numérique (voire virtuel).

Motivations

La capture de mouvement est une technique très répandue aujourd'hui, même si on ne s'en rend pas forcément compte. Elle est utilisée dans de nombreux domaines comme :

Le médical :

Recherche en biomécanique
Source : Vicon

on peut, par capture du mouvement, analyser les déplacements d'une personne ou bien étudier les mouvements des os ou des membres les uns par rapport aux autres. Ceci permet de détecter de mauvaises positions du corps et est appliqué en orthopédie, traumatologie, rééducation, biomécanique,...

L'art :

De nombreux artistes exploitent les capacités de la capture de mouvement pour créer scultures, tableaux et autres oeuvres (exemples : Sculpture en motion capture, Digital art exhibit).
Actuellement, il y a un grand engouement pour la vidéo en motion capture, combinée à la danse : K danse

Le sport :

Les sportifs de haut niveau utilisent cette technique pour repérer leurs défauts et améliorer leurs performances. En effet, le posé de pied ou le mouvement du corps peuvent s'avérer déterminant pour le coureur de sprint par exemple.
La capture du mouvement est également utilisée par les fabriquants de matériel sportif afin de proposer un équipement qui soit le mieux adapté aux contraintes liés aux mouvements du sportif en action.

Le cinéma :

De nombreux films ont été réalisés grâce à la motion capture. Cette technique permet de créer des créatures qui n'existent pas dans la réalité, tout en leur conférant des mouvements réalistes. Cela permet également de réaliser des films d'animation avec des personnages crédibles en terme de déplacements, de mouvements, etc.
Quelques films ayant été réalisés avec la motion capture : Blanche-Neige et les Sept Nains par les studio Disney (1937 - premier long métrage par chronophotographie), Le Seigneur des Anneaux par Peter Jackson (2001-2002-2003, personnage de Gollum), Hulk par Ang Lee (2003 - personnage de Hulk), Avatar par James Cameron (2009)

Les jeux vidéo :

Pour les mêmes motivations que le cinéma (vraissemblance des mouvements, réalité des personnages et expressions), les jeux vidéos ont adopté la capture de mouvement. Exemple : Assassin's Creed par Ubisoft Montréal

Solutions

Différentes solutions existent pour réaliser la capture du mouvement. Nous décrirons ici les principales (les plus utilisées). Elles sont clasées en 2 catégories : les invasives (c'est-à-dire celles nécessitant la pose de matériel spécifique sur le corps même de l'acteur ou de la cible de la motion capture) et les non-invasives.

Techniques invasives

Marqueurs sur l'acteur
Source : Wikipédia

Chronophotographie d'un coureur
Source : Wikipédia

Chronophotographie

Aussi appelée Rotoscopie et inventée par Etienne-Jules Maray en 1891, est la première technique permettant d'analyser les mouvements d'une personnes. Elle consiste à placer des repères sur le corps de l'acteur, à des endroits stratégiques : typiquement pour marquer les articulations. L'acteur se met alors en mouvement et la scène est filmée. On analyse ensuite la vidéo image par image. On peut alors créer un graphe représentant l'évolution dans l'espace (en 2 dimensions) des points repères et ainsi recréer un historique du mouvement.

Utilisation de la chronophotographie pour le film Avatar de James Cameron]

Cette technique est actuellement utilisée pour interpréter les expressions faciales d'acteurs. Elle a notamment été utilisée pour le film Avatar par James Cameron.

Capture optique

Capture optique passive du mouvement

Cette technique se rapproche beaucoup de la chronophotographie. Elle est basée sur le positionnement de capteurs passifs réflechissants sur l'acteur (sur les articulations et les membres). Plusieurs caméras sont disposées tout autour de l'acteur, délimitant la scène de l'action. Ces caméras émettent un rayonnement qui, une fois réfléchi sur les capteurs, est récupéré par les caméras. On recrée ensuite informatiquement le squelette de l'acteur.
Inconvénients :
- Besoin d'une grande rigueur dans l'installation des capteurs
- Besoin d'avoir des points de callibration pour limiter les problèmes de parallace et de distorsion des lentilles des caméras
- Besoin de nombreuses caméra pour limiter le problème de confusion/suivi des membres lors du recouvrement de ceux-ci

Capture optique active du mouvement
Source : Effets spéciaux

Un seconde technique existe dans cette même famille, à ceci près que les capteurs sont cette fois-ci actifs (micro-LED : luminescents). Des capteurs photosensibles sont placés autours de la scène, sur un repère en 3 dimensions (x,y,z).
Inconvénient: Besoin d'une grande précision dans le calibrage

Capture mécanique du mouvement

Capture mécanique

La capture mécanique fonctionne à l'aide de potentiomètres. Sur chaque membre est placé un appareil permettant :
- le codage du mouvement(avec un calculateur)
- récupérant l'angle du mouvement
- récupérant le degré de rotation
Avantages :
+ Cohérence du squelette
+ Rapidité de calcul
Inconvénients :
- Limite la liberté de mouvement
- Ne prend pas en compte les intéraction avec l'environnement

Capture magnétique du mouvement
Source : Effets spéciaux

Capture magnétique

On installe un champ magnétique nul (0,0,0) sur la scène. Des capteurs, constitués de bobines de fils électriques, sont placés sur l'acteur. Ces capteurs vont perturber le champ magnétique. On va alors pouvoir, grâce à la différence de potentiel, récupérer l'orientation et la position des capteurs dans la scène.
Avantage : Très rapide à mettre en place
Inconvénient : On ne peut pas intégrer d'objet métalliques dans la scène, risquant de pertuber le champ magnétique

Techniques non-invasives

Organic motion
Source : Organic Motion

Organic motion

L'acteur se place dans la scène, sans équipement particulier. La salle, par contre, est munie de murs réfléchissants et de caméras monochromes. La combinaison des données des différentes caméras permet de recréer la scène en 3D. Par comparaison d'images, les objets sont recréés.
Si l'installation d'une salle aux murs réfléchissants n'est pas possible, on peut à la place des caméras monochromes utiliser un ensemble de caméras couleur à haute vitesse. Le fonctionnement est ensuite le même.
Avantage : Permet d'intégrer l'environnement
Inconvénient : matériel couteux

Kinect
Source : GameBlog

Kinect

Dans une scène quelconque, la Kinect projète une lumière infra(rouge (invisible à l'oeil nu). Cette lumière se reflète et se réverbère sur les objets de la scène. Une caméra récupère alors ces signaux lumineux. Plus un objet sera loin de la caméra (profondeur de la scène), plus les signeux lumineux réfléchis se seront dissipés. On peut alors recalculer les profondeurs de la scène et les objets.

Image Metrics : Calibrage
Source : ICT - Digital Emily Project

Image Metrics : Enregistrement de séquences types
Source : ICT - Digital Emily Project

Image Metrics

Cette technique a été notamment utilisé dans le cadre de l'étude poussée des expressions humaines, dans le but de recréer un avatar virtuel le plus humain possible(ICT - Digital Emily Project).
Plusieurs phases sont nécessaires :

- Calibrage : De nombreuses photos de l'acteur sont prises, selon différentes lumières. Ceci permet d'une part de mieux reconnaitre les volumes physiques, mais aussi de pouvoir par la suite mieux faire vivre l'avatar virtuel (dans différents décors).
- Enregistrement de séquences types : On demande à l'acteur de réaliser toute une batterie d'expressions et grimaces. Ceci permet de pouvoir reproduire virtuellement des expressions et d'accéder à des mouvements réalistes du visage et se basant sur cette bibliothèques de mouvements types.

Produits pour la capture de mouvement

Matériel utilisé

Utilisant Perceptual Computing SDK 2013 (voir démonstrations)

Leap Motion (LEAP)

Conclusion

La capture de mouvement a énormément de domaines d'application, que ce soit pour des besoins pratiques (médical, sport,...) que l'amélioration des loisirs (jeux vidéo,...). Beaucoup de progrès ont été réalisés ces dernières années et en très peu de temps. De nouvelles technologies non-invasives sont apparues. Les avatars numériques sont de plus en plus réalistes. C'est en sujet en perpétuelle évolution et qui s'avère très prometteur.