PAGE WIKI ETUDIANTS 2012-13 RECONNAISSANCE FACIALE
Description du projet
Le principe est de permettre d'identifier un utilisateur. Le système dispose d'une base de données contenant l'ensemble des utilisateurs connus et leur visage. Le système doit reconnaitre l'utilisateur test dans la base de données.
Scénario type : Une personne se présente au système. Le système détecte son visage et analyse la situation. Il répond alors de 2 manières possibles :
- La personne est vraisemblablement Monsieur X
- La personne n'est pas dans la base de données
Composition de l'équipe
Chef de projet : Camille OSWALD
Equipiers :
- Marie CHEVALLIER
- Fabien ELOY
- Christopher GNATTO
- Maxence RAOUX
- Sylvain VIGIER
- Clément WIRTH
Gestion du projet
Apprentissage | Détection | Technologie | Sous-équipe | Etat | |
---|---|---|---|---|---|
Base de données | X | - | TinyXml | Fabien & Christopher & Sylvain | FAIT |
Acquisition de données | X | X | OpenCV | Sylvain & Christopher | FAIT |
Détection de visages | X | X | OpenCV | Marie & Maxence & Camille & Clément | FAIT |
Authentification | - | X | OpenCV | Marie & Camille | A tester |
Documentation | - | - | Wiki air | Marie | En cours |
Interface | - | - | Qt project | Maxence & Clément | En cours |
Synchro. Interface-Auth. | - | - | Qt project | Camille & Christopher & Sylvain & Fabien | En cours |
Technologies et matériel utilisés
- C++
- librairies et frameworks : OpenCV, Qt Project, TinyXml
- webcam
Chronologie de développement
- Détection avec quelques images en base
- Nous commençons par élaborer un modèle avec une petite base pour nous permettre de faire des tests. Nous agrandirons la base pour davantage de tests par la suite.
- L'acquisition des données de la webcam est très facilement gérée par OpenCV
- La détection de visage se base sur la méthode de Viola et Jones, aussi géré par OpenCV
- Se focaliser sur la phase critique : l'identification de visages
- Gérer la phase d'apprentissage du système
- optimiser le système (statistiques, réglage du seuil,…)
Fonctionnement du projet
Utilisation de la librairie OpenCv
Comme ce projet nécéssitait l'utilisation d'une kinect, nous avions décidé de développer sous Windows.
Nous avons donc tout d'abord essayé d'utiliser Visual Studio pour développer notre projet. Par la suite, nous avons choisi de passer par un autre éditeur : Codeblocks.
1) Utilisation de Visual Studio (2012)
Après avoir réussi à inclure les librairies dans notre code, nous avons rencontrés les problèmes suivants :
Problèmes rencontrés :
- Difficulté de comprendre le fonctionnement du compilateur de visual studio, notamment lorsqu'il faut ajouter de nouveaux fichiers
- Problème lors du fonctionnement des objets utilisés par opencv (Exception au lancement, ou détection des visages non effectuées) pour certaines machines.
- La librairie devait se trouver sur au même endroit pour toutes les machines
2) Utilisation de Code Blocks
Pour une meilleure compréhension et un projet fonctionnant sur des machines différentes avec des librairies qui ne sont pas installées aux mêmes endroits, nous avons choisi de porter le projet sur codeblocks.
Dans ce projet, nous avons utilisé Codeblocks 12.11 avec MinGW inclu (version 4.7.1).
Compilation de la librairie OpenCv
Afin d'éviter les problèmes d'utilisation de la librairie, il était nécessaire de recompiler la librairie avec le même compilateur que nous utilisons pour notre projet (ici MinGW fourni avec CodeBlocks).
Pour compiler la librairie, nous avons utilisé l'utilitaire Cmake.
Les fichiers de configurations de Cmake étant déjà fourni avec opencv (fichiers CMakeLists.txt), son utilisation devient très simple. Nous avons suivi le tutoriel ci-dessous :
- Lancement de Cmake-gui
- Dans le champs Source Code, spécifier le chemin de la librairie openCv (exemple : C:\opencv-2.4.3)
- Dans le champs build, mettre le chemin ou la librairie compilée sera enregistrée (exemple : C:\openCV-build)
- Cliquer ensuite sur configure (créer le nouveau dossier)
- Spécification du générateur : MinGW Makefiles
- Sélectionner "Specify native compilers"
- Définir le compilateur C (ex : C:/Program Files/CodeBlocks/MinGW/bin/gcc.exe)
- Définir le compilateur C++ (ex: C:/Program Files/CodeBlocks/MinGW/bin/g++.exe)
- Cliquer sur Finish
- Cliquer sur generate
- Fermer Cmake
- Ouvrir une fenêtre de commande et aller dans le dossier que vous avez spécifié dans le champs build (ici : C:\openCV-build)
- Executer "ming32-make" (prend du temps et nécessite peut être d'avoir le répertoire bin de MinGW dans le PATH)
- Enfin executer "mingw32-make install"
Configuration de codeblocks
Pour configurer codeblocks, nous avons suivi ce tutoriel : http://opencv.willowgarage.com/wiki/CodeBlocks
Afin que chacun puisse installer sa librairie openCv où bon lui semble, nous avons décidé de configurer chacun notre CodeBlocks. La démarche suivie est la suivante :
- Menu "settings" / "Compiler"
- Onglet "search directories"
- Dans le sous onglet "Compiler", spécifier le dossier include de notre openCv recompilé
- Dans le sous onglet "Linker", spécifier le dossier lib de notre openCv recompilé
- Aller dans l'onglet "linker settings" et ajouter toutes les libraies .dll.a contenues dans le dossier lib.
- Inclure le dossier bin de notre openCv recompilé dans la variable système PATH (nécessite peut être un redemmarrage)
Après ces étapes nous pouvons inclure les librairies openCV dans n'importe quel projet Codeblocks.
La bibliothèque Qt
Installation de QT
Installer QT :
- Télécharger Qt 5.0.1(MinGW 4.7) ou une version compatible avec MinGW 4.7 depuis le site qt-project
- Installer QT depuis l’exécutable téléchargé.
Intégré QT à Codeblocks de la même manière qu'OpenCV. C'est à dire :
- Menu "settings" / "Compiler"
- Onglet "search directories"
- Dans le sous onglet "Compiler", spécifier le dossier include de QT (<chemin d'installation de QT>/QT5.0.1/5.0.1/mingw47_32/include)
- Dans le sous onglet "Linker", spécifier le dossier lib de QT (<chemin d'installation de QT>/QT5.0.1/5.0.1/mingw47_32/lib)
- Aller dans l'onglet "linker settings" et ajouter toutes les libraies a contenues dans le dossier lib.
Utilisation de QT
Les inclusions de bibliothèque se fond en précisant le bon chemin, par exemple pour : QLabel : #include <QtWidgets/QLabel> QWidget : #include <QtWidgets/QWidget> QPixmap : #include <QtGui/QPixmap> etc...
En ce qui concerne les signaux et les slots, propre a QT. Une manipulation est nécessaire à leurs bon fonctionnement. Comprendre leurs fonctionnement sur le site du zéro par exemple puis il est nécessaire de lancer une commande pour que le signal marche.
Depuis la racine du projet exécutez la commande : moc <chemin vers le .h comprenant le signal> -o <chemin vers les sources du cpp>\moc_<nom du .h>.cpp
Par exempe un signal est contenu dans include avec le nom interface.h, le cpp correspondant se trouve dans src/interface.cpp La ligne de commande nécessaire sera : moc include/interface.h -o src/moc_interface.cpp
Cette commande génére un fichier cpp qui rend le signal utilisable.
Détection de visages
Référence :
Après nous être inspirés de ces tutoriels, voici comment la détection de visages est implémentée dans notre projet :
// Déclaration des variables char Filexml[]="haarcascade_frontalface_alt.xml"; CvHaarClassifierCascade* cascade = 0; IplImage* frame = 0; struct stat buf; int statResult = stat(Filexml,&buf); char s[] = "picture.jpg"; int nbFrame = 0; CvCapture* capture; IplImage *subImg; CvSeq *faceRectSeq; CvMemStorage *storage = cvCreateMemStorage(0); // Teste si le fichier d'entrée est bien chargé if (statResult ||buf.st_ino<0) { printf("xml non trouvé"); } else { // Crée un nouveau Haar classifier : // Crée des classes permettant d'identifier des objets dans des rectangles d'images // Le système s'entraine sur les images du fichier xml cascade = (CvHaarClassifierCascade*) cvLoad(Filexml); } // Détection des visages en continue, à partir de la webcam while (true) { // Capture de la caméra capture = cvCaptureFromCAM(1); // Crée un IplImage à partir de la caméra frame = cvQueryFrame(capture); // Crée une fenêtre pour afficher les visages détectés cvNamedWindow("Sample Program", CV_WINDOW_AUTOSIZE); cvNamedWindow("Visage", CV_WINDOW_AUTOSIZE); // Détection des objets dans l'image de la caméra faceRectSeq = cvHaarDetectObjects(frame,cascade,storage,1.2, 3,CV_HAAR_DO_CANNY_PRUNING,cvSize(50,50)); CvRect *r; for ( int i = 0; i < (faceRectSeq? faceRectSeq->total:0); i++ ) { r = (CvRect*)cvGetSeqElem(faceRectSeq,i); CvPoint p1 = { r->x, r->y }; CvPoint p2 = { r->x + r->width, r->y + r->height }; cvRectangle(frame,p1,p2,CV_RGB(0,255,0),1,4,0); // Récupération de l'image à l'interieur du rectangle r cvSetImageROI(frame, *r); subImg = cvCreateImage(cvGetSize(frame), frame->depth, frame->nChannels); cvCopy(frame, subImg, NULL); // On enregistre l'image du visage saveTrainImg(frame, subImg, nbFrame); // Affiche l'image dans le rectangle, et l'image de la caméra dans son intégralité cvShowImage("Visage", subImg); cvResetImageROI(frame); cvShowImage("Sample Program", frame); } // Fermeture de l'application sur commande Echap int c = cvWaitKey(10); if( (char)c == 27 ) { cvSaveImage(s, frame); exit(0); } nbFrame++; } }
Traitement des images
// Copie l'image source frame dans subImg pour traitement subImg = cvCreateImage(cvGetSize(frame), frame->depth, frame->nChannels); cvCopy(frame, subImg, NULL); // Crée le nom de fichier pour l'enregistrement de l'image string Result; ostringstream convert; ostringstream convertIdPersonne; convert << nbFrame; convertIdPersonne <<idPersonne; Result = "imgResizedGray\\picture"+convertIdPersonne.str()+""+convert.str()+".jpg"; // Variables nécessaires au traitement de l'image IplImage *dst = cvCreateImage(cvSize(400, 400),subImg->depth,3) IplImage *dstGray = cvCreateImage(cvSize(400, 400),dst->depth,1); // Redimensionne l'image cvResize(subImg,dst, CV_INTER_LINEAR ); // Convertie en matrice et en niveaux de gris cvCvtColor(dst, dstGray, CV_RGB2GRAY); // Enregistre l'image retraitée cvSaveImage(Result.c_str(), dstGray); return Result;
Identification de visages
Référence : Tutoriel pour la reconnaissance de visage
L'identification de visage consiste à reconnaitre un utilisateur dans un ensemble de visages connu. Plusieurs algorithmes existent pour comparer un visage à un autre : Eigenfaces, Fisherfaces, Local Binary Patterns Histograms,...
Dans notre solution, nous utilisons la technique Fisherfaces. Il faut générer un modèle, permettant de lier chaque identité à un set d'images lui correspondant. A la phase d'identification, l'image test (visage) sera comparée avec ce modèle. On va sélectionner le visage le plus proche du visage test, selon un certain calcul de distance. Il est possible d'améliorer les résultats en jouant sur le seuil d'acceptation.
Création du modèle
// Vecteurs permettant de stocker l'ensemble des images et des noms des utilisateurs pour le modèle vector<Mat> images; vector<int> labels; // Va chercher les données dans notre fichier de données vector<Personne> personnes = collection->getPersonnes(); // Vecteur contenant les images de notre système de données vector<Image> imageRefs; // Parcours de l'ensemble des personnes du système de données Personne personne; for(int i=0;i<(int)personnes.size();i++){ personne = personnes[i]; imageRefs = personne.getImageReferences(); for(int j=0;j<(int)imageRefs.size();j++){ // Récupère l'image IplImage* src = cvLoadImage(imageRefs[j].getChemin().c_str(), CV_LOAD_IMAGE_GRAYSCALE); // Transforme l'image en matrice Mat matDst=src; // Stocke l'image dans le vecteur images et la lie à l'identité dans le vecteur labels images.push_back(matDst); labels.push_back(personne.getId()); } } // Crée le modèle avec la technique Fisherfaces Ptr<FaceRecognizer> model = createFisherFaceRecognizer(); // Entraine/génère le modèle en fonction des vecteurs créés model->train(images, labels); return model;
Identification du visage
// Formatage de l'image du visage test IplImage *dstTest = cvCreateImage(cvSize(400 , 400),subImg->depth,3); IplImage *dstTestGray = cvCreateImage(cvSize(400 , 400),subImg->depth,1); cvResize(subImg,dstTest, CV_INTER_LINEAR ); cvCvtColor(dstTest, dstTestGray, CV_RGB2GRAY); // Création de la matrice de l'image de visage test pour comparaison avec le modèle Mat matTest=dstTestGray; // Variable stockant la confiance accordée au résultat double confidence = -1.0; // Identité résultat prédite int predicted = -1; // Demande la prédiction à partir du modèle cv::FaceRecognizer: model->predict(matTest, predicted, confidence);
Persistance des données
Pour réaliser un système de reconnaissance faciale, il faut mettre en place une base des utilisateurs. Lorsqu'une personne souhaitera être authentifiée (ou identifiée), la comparaison sera faite avec les individus présents dans cette base. Pour chaque individu, nous lui associons une liste d'images, captures de son visage. Le système de reconnaissance d'OpenCV fonctionnant directement avec des images, nous les stockons directement en format JPG dans un dossier "imgResizedGray".
Format de données
Les données sont stockées en XML (fichier Personnes.xml dans le dossier data). Pour chaque personne, nous enregistrons son nom, prénom, un identifiant unique (généré automatiquement), et une liste d'images associées (date + chemin). Voici un exemple de fichier:
<?xml version="1.0" encoding="utf-8"?> <ListePersonnes> <Personne> <Nom> Mercier </Nom> <Prenom> Jean-Francois </Prenom> <Id> 1 </Id> <Image> <Chemin> MercierJean-Francois.jpg </Chemin> <Date> DD/MM/YYYY HH:MM:SS </Date> </Image> <Image> <Chemin> MercierJean-Francois2.jpg </Chemin> <Date> DD/MM/YYYY HH:MM:SS </Date> </Image> </Personne> </ListePersonnes>
Une fois parsées, les données sont en mémoire dans la classe "Connexion". Les modifications des données effectuées dans cette structure sont enregistrée en même temps dans le fichier xml.
Librairie utilisée
La librairie utilisée pour parser le fichier xml est tinyXML. L'import de la librairie est très simple puisque ce sont des classes C++ à ajouter dans le projet:
- tinystr.cpp
- tinyxml.cpp
- tinyxmlerror.cpp
- tinyxmlparser.cpp
La documentation est disponible ici. Quelques éléments sur le fonctionnement de la librairie:
- Chargement d'un fichier XML : TiXmlDocument doc = TiXmlDocument(xmlFile);
- Accès à une balise fille (dans ce cas c'est <ListePersonnes>) : TiXmlHandle hdl(&doc); TiXmlElement *elem1 = hdl.FirstChildElement("ListePersonnes").Element(); //Si l'élément cherché est non trouvé if(!elem1) return false;
- Accès à une balise soeur (on passe de <Nom> à <Prenom>) : TiXmlElement *elem1=elem1->NextSiblingElement("Prenom");
- Modification du fichier XML (ajout d'une balise fille <Personne> ainsi que ses balises filles <Nom>, <Prenom>, <Id>) :
TiXmlText* newText; TiXmlElement new_personne("Personne"); TiXmlElement new_nom("Nom"); TiXmlElement new_prenom("Prenom"); TiXmlElement new_id("Id"); //Récupération des informations de la personne newText = new TiXmlText(firstName.c_str()); new_nom.InsertEndChild(*newText); newText = new TiXmlText(lastName.c_str()); new_prenom.InsertEndChild(*newText); oss <<id; newText = new TiXmlText(oss.str().c_str()); new_id.InsertEndChild(*newText); //Création des balises filles de <Personne> new_personne.InsertEndChild(new_nom); new_personne.InsertEndChild(new_prenom); new_personne.InsertEndChild(new_id); //Création de la balise fille <Personne> elem1->InsertEndChild(new_personne);