PAGE WIKI ETUDIANTS 2012-13 RECONNAISSANCE FACIALE
Description du projet
Le principe est de permettre d'identifier un utilisateur. Le système dispose d'une base de données contenant l'ensemble des utilisateurs connus et leur visage. Le système doit reconnaitre l'utilisateur test dans la base de données.
Scénario type : Une personne se présente au système. Le système détecte son visage et analyse la situation. Il répond alors de 2 manières possibles :
- La personne est vraissemblablement Monsieur X
- La personne n'est pas dans la base de données
Composition de l'équipe
Chef de projet : Camille OSWALD
Equipiers :
- Marie CHEVALLIER
- Fabien ELOY
- Christopher GNATTO
- Maxence RAOUX
- Sylvain VIGIER
- Clément WIRTH
Gestion du projet
| Apprentissage | Détection | Technologie | Sous-équipe | Etat | |
|---|---|---|---|---|---|
| Base de données | X | - | TinyXml | Fabien & Christopher & Sylvain | FAIT |
| Acquisition de données | X | X | OpenCV | Sylvain & Christopher | FAIT |
| Détection de visages | X | X | OpenCV | Marie & Maxence & Camille & Clément | FAIT |
| Authentification | - | X | OpenCV | Marie & Camille | A tester |
| Documentation | - | - | Wiki air | Marie | En cours |
| Interface | - | - | Qt project | Maxence & Clément | En cours |
| Synchro. Interface-Auth. | - | - | Qt project | Camille & Christopher & Sylvain & Fabien | En cours |
Technologies et matériel utilisés
- C++
- librairies et frameworks : OpenCV, Qt Project, TinyXml
- webcam
Chronologie de développement
1) Détection avec quelques images en base
- Nous commençons par élaborer un modèle avec une petite base pour nous permettre de faire des tests. Nous agrandirons la base pour davantage de tests par la suite.
- L'acquisition des données de la webcam est très facilement gérée par OpenCV
- La détection de visage se base sur la méthode de Viola et Jones, aussi géré par OpenCV
- Se focaliser sur la phase critique : l'identification de visages
2) Gérer la phase d'apprentissage du système
3) optimiser le système (statistiques, réglage du seuil,…)
Fonctionnement du projet
Utilisation de la librairie OpenCv
Comme ce projet nécéssitait l'utilisation d'une kinect, nous avions décidé de développer sous Windows.
Nous avons donc tout d'abord essayé d'utiliser Visual Studio pour développer notre projet. Par la suite, nous avons choisi de passer par un autre éditeur : Codeblocks.
1) Utilisation de Visual Studio (2012)
Après avoir réussi à inclure les librairies dans notre code, nous avons rencontrés les problèmes suivants :
Problèmes rencontrés :
- Difficulté de comprendre le fonctionnement du compilateur de visual studio, notamment lorsqu'il faut ajouter de nouveaux fichiers
- Problème lors du fonctionnement des objets utilisés par opencv (Exception au lancement, ou détection des visages non effectuées) pour certaines machines.
- La librairie devait se trouver sur au même endroit pour toutes les machines
2) Utilisation de Code Blocks
Pour une meilleure compréhension et un projet fonctionnant sur des machines différentes avec des librairies qui ne sont pas installées aux mêmes endroits, nous avons choisi de porter le projet sur codeblocks.
Dans ce projet, nous avons utilisé Codeblocks 12.11 avec MinGW inclu (version 4.7.1).
Compilation de la librairie OpenCv
Afin d'éviter les problèmes d'utilisation de la librairie, il était nécessaire de recompiler la librairie avec le même compilateur que nous utilisons pour notre projet (ici MinGW fourni avec CodeBlocks).
Pour compiler la librairie, nous avons utilisé l'utilitaire Cmake.
Les fichiers de configurations de Cmake étant déjà fourni avec opencv (fichiers CMakeLists.txt), son utilisation devient très simple. Nous avons suivi le tutoriel ci-dessous :
- Lancement de Cmake-gui
- Dans le champs Source Code, spécifier le chemin de la librairie openCv (exemple : C:\opencv-2.4.3)
- Dans le champs build, mettre le chemin ou la librairie compilée sera enregistrée (exemple : C:\openCV-build)
- Cliquer ensuite sur configure (créer le nouveau dossier)
- Spécification du générateur : MinGW Makefiles
- Sélectionner "Specify native compilers"
- Définir le compilateur C (ex : C:/Program Files/CodeBlocks/MinGW/bin/gcc.exe)
- Définir le compilateur C++ (ex: C:/Program Files/CodeBlocks/MinGW/bin/g++.exe)
- Cliquer sur Finish
- Cliquer sur generate
- Fermer Cmake
- Ouvrir une fenêtre de commande et aller dans le dossier que vous avez spécifié dans le champs build (ici : C:\openCV-build)
- Executer "mingw-32make" (prend du temps et nécessite peut être d'avoir le répertoire bin de MinGW dans le PATH)
- Enfin executer "mingw32-make install"
Configuration de codeblocks
Pour configurer codeblocks, nous avons suivi ce tutoriel : http://opencv.willowgarage.com/wiki/CodeBlocks
Afin que chacun puisse installer sa librairie openCv où bon lui semble, nous avons décidé de configurer chacun notre CodeBlocks. La démarche suivie est la suivante :
- Menu "settings" / "Compiler"
- Onglet "search directories"
- Dans le sous onglet "Compiler", spécifier le dossier include de notre openCv recompilé
- Dans le sous onglet "Linker", spécifier le dossier lib de notre openCv recompilé
- Aller dans l'onglet "linker settings" et ajouter toutes les libraies .dll.a contenues dans le dossier lib.
- Inclure le dossier bin de notre openCv recompilé dans la variable système PATH (nécessite peut être un redemmarrage)
Après ces étapes nous pouvons inclure les librairies openCV dans n'importe quel projet Codeblocks.
Utilisation de Qt project
Détection de visages
Référence :
Authentification de visages
Référence : Tutoriel pour la reconnaissance de visage
L'authentification de visage consiste à reconnaitre un utilisateur dans un ensemble de visages connu. Plusieurs algorithmes existent pour comparer un visage à un autre : Eigenfaces, Fisherfaces, Local Binary Patterns Histograms,... On va sélectionner le visage le plus proche du visage test, selon un certain calcul de distance. Il est possible d'améliorer les résultats en jourant sur le seuil d'acceptation.
Persistance des données
Pour réaliser un système de reconnaissance faciale, il faut mettre en place une base des utilisateurs. Lorsqu'une personne souhaitera être authentifiée (ou identifiée), la comparaison sera faite avec les individus présents dans cette base. Pour chaque individu, nous lui associons une liste d'images, captures de son visage. Le système de reconnaissance d'OpenCV fonctionnant directement avec des images, nous les stockons directement en format JPG dans un dossier Img.
Format de données
Les données sont stockées en XML (fichier Personnes.xml dans le dossier data). Pour chaque personne, nous enregistrons son nom, prénom, un identifiant unique (généré automatiquement), et une liste d'images associées (date + chemin). Voici un exemple de fichier:
<?xml version="1.0" encoding="utf-8"?> <ListePersonnes> <Personne> <Nom> Mercier </Nom> <Prenom> Jean-Francois </Prenom> <Id> 1 </Id> <Image> <Chemin> MercierJean-Francois.jpg </Chemin> <Date> DD/MM/YYYY HH:MM:SS </Date> </Image> <Image> <Chemin> MercierJean-Francois2.jpg </Chemin> <Date> DD/MM/YYYY HH:MM:SS </Date> </Image> </Personne> </ListePersonnes>
Une fois parsées, les données sont en mémoire dans la classe "Connexion". Les modifications des données effectuées dans cette structure sont enregistrée en même temps dans le fichier xml.
Librairie utilisée
La librairie utilisée pour parser le fichier xml est tinyXML. L'import de la librairie est très simple puisque ce sont des classes c++ à ajouter dans le projet:
- tinystr.cpp
- tinyxml.cpp
- tinyxmlerror.cpp
- tinyxmlparser.cpp
La documentation est disponible ici. Quelques éléments sur le fonctionnement de la librairie:
- Chargement d'un fichier XML : TiXmlDocument doc = TiXmlDocument(xmlFile);
- Accès à une balise fille (dans ce cas c'est <ListePersonnes>) : TiXmlHandle hdl(&doc); TiXmlElement *elem1 = hdl.FirstChildElement("ListePersonnes").Element(); //Si l'élément cherché est non trouvé if(!elem1) return false;
- Accès à une balise soeur (on passe de <Nom> à <Prenom>): TiXmlElement *elem1=elem1->NextSiblingElement("Prenom");