RICM5 2017-2018 - SmartMove

From air
Jump to navigation Jump to search

Smart Move

Smartmove est un ambitieux projet imaginé par quatre étudiants de Polytech Grenoble. Smartmove est une approche nouvelle du sport avec l'IoT et l'apprentissage machine.

Smart-move logo.png

Équipe du projet

Membre Rôles
Anthony Geourjon Chef de projet
Timothée Lemaire Responsable hardware (black belt thinkpad)
Clément Rouquier Responsable Dofus
Vincent Turrin Batteur
  • Supervisé par : Bernard Tourancheau, Didier Donsez

Abstract

In 2017, two highly innovative domains emerge  : the Internet of Things and the Artificial Intelligence and especially the machine learning. These technological advances open new possibilities to imagine new ways to help people. In this project, we present our proposal for the Open IoT challenge 4.0 organized by the Eclipse Foundation. This project is also part of the course of Wireless Sensor Networks given by Prof. Bernard Tourancheau at Polytech Grenoble (Engineering school)

Mots clés

  • IoT
  • Machine learning,
  • Sports

Présentation

Présentation du projet dans le cadre de l'Eclipse IoT challenge : Smartmove

SCRUM

Une liste plus actualisé des tâches est disponible sur Trello : https://trello.com/b/RVfoU3gl/smart-move-first-tasks

Sprint 1 - Du 29/01/18 au 04/02/18

  • Définition des rôles
  • Mise en place du projet pour tous les membres du groupe(Trello, Github)
  • Création de la page AIR pour la tenue de journal
  • Prise de contact avec les enseignants concernés
  • Début de la phase de conception
  • Séance de management de projets innovants

Sprint 2 - Du 05/02/18 au 11/02/18

  • Définition des taches et des deadline sur Trello
  • Première expérimentation avec différents modèles de machine learning. Nous faisons face à de très nombreuses contraintes comparé aux modèles que nous trouvons sur le net comme :
    • Nos données sont un flux continu et non un simple échantillon borné à analyser
    • Nous recevons des données de plusieurs capteurs, la synchronisation doit être quasi parfaite pour que les données est un sens.
    • Nous avons découvert des applications d'enregistrement de mouvement fonctionnant sur Android. https://blog.lemberg.co.uk/motion-gesture-detection-using-tensorflow-android
  • Choix des technologies pour la communication entre le téléphone et les Arduinos -> BLE
  • Cours de gestion de projet

Sprint 3 - Du 12/02/18 au 18/02/18

  • Soutenance de mi parcours le mercredi 14/02 de 10h30-11h avec Didier Donsez et Bernard Tourancheau
    • Ils sont satisfait de la direction que prend le projet
    • Didier nous propose de remplacer les Arduino par des SensorTag qui seraient plus adaptés à nos besoins.
  • Expérimentations avec un modèle de machine learning prometteur (LSTP Long short term memory) https://github.com/SmartMove-PolytechGrenoble/TensorFlow-on-Android-for-Human-Activity-Recognition-with-LSTMs
  • Expérimentations d'entrainement de modèle sur nos machines -> problème de config sur GPU
  • Cours de gestion de projet

Sprint 4 - Du 19/02/18 au 25/02/18

Vacances

Sprint 5 - Du 26/02/18 au 04/03/18

  • Premières expérimentations avec le SensorTag malgré les problèmes de piles.
  • Travail sur la gestion des entraînements (au sens, action que veut reconnaître l'utilisateur)
  • Cours de gestion des risques en projets
  • Réunion 1 de suivi avec Didier
    • Il est satisfait de nos avancées (communication téléphone/SensorTag, avancement dans le machine learning, etc)

Sprint 6 - Du 05/03/18 au 11/03/18

Sprint 7 - Du 12/03/18 au 18/03/18 (en cours)

  • Soutenance le jeudi 15/03 de 9h-10h
  • Préparation de la soutenance
  • Fusion de tous nos applications de développement en un démonstrateur pour la soutenance
  • Enregistrement de données dans diverses positions
  • Essais de différents modèle et de différents combinaisons de mouvements

Journal

Sprint1

Date GEOURJON Anthony LEMAIRE Timothée ROUQUIER Clément TURRIN Vincent
SPRINT 1
Lundi 29/01/18 Tâches
  • Récupération du matériel au fablab (Arduino 101)
  • Tentative d'un flash d'un exemple sur la carte
  • Lecture et compréhension des divers documents produits durant le S9 par les 3 autres membres du projet, un gros travail de conception ayant déjà été effectué en amont de mon arrivée
Remarques
  • Impossible de faire marcher quelque chose sur la carte pourtant elle est détecté
  • Confrontation de l'idée que m'ont donné les documents de conception avec la vision des autres membres afin d'assurer une divergence de trajectoire aussi faible que possible
Mardi 30/01/18 Tâches
  • Tentative d'un flash d'un exemple sur la carte
  • La technologie de communication entre les cartes et le téléphone s'effectuera sur la base du Bluetooth BLE. Ayant déjà travaillé sur cette technologie sur le projet UltraTeam, je ferai cette partie.
Remarques
  • Le bootloader de la carte est broken et ne fonctionne depuis Linux, Avec Windows Timothée y arrive facilement
  • Le BLE est une technologie qui m'avait donné beaucoup de tord durant le précédent projet et il m'intéresse de m'y remettre dessus. le nombre de ressources disponibles est assez peu limité et les ressources existantes ont généralement été conçues pour du HardWare spécial
Mercredi 31/01/18 Tâches
  • Cours de management de projets innovants - 4h
  • Cours de management de projets innovants - 4h
  • Cours de management de projets innovants - 4h
  • Analyse du code d'UltraTeam pour voir ce qui est récupérable du travail déjà effectué dans le cadre du projet antérieur
  • Cours de management de projets innovants - 4h
  • Etude problématique projet
  • Formation tensorflow : tuto simple, structure du code et concepts de base
Remarques
  • Je ne récupérerai que peu de code du précédent projet en raison du nombre important de bricolage. J'ai décidé de me rebaser quasi-exclusivement sur le GoogleSample BleGATT
Vendredi 02/02/18 Tâches
  • Tentative de flash sur l’Arduino récupéré par Anthony au fablab, finalement réussi sur Windows.
  • Essai de l'exemple "HearthRate Monitor" avec connexion Bluetooth.
  • Création d'un dépot Github se basant sur un Fork du Google Sample et qui aura ensuite pour but d'être intégré dans l'application finale créée par les autres.
  • Continuation de la formation TF Visionnage vidéos, notamment conférence sur deep learning adapté à Tensorflow
Remarques
  • Travail avec Clément pour faire fonctionner l'exemple en BLE sur son début d'appli. finalement fonctionnel en demandant l'utilisation du GPS sur android (Comme le requière la spécification BLE)
  • Le GoogleSample se base sur un design AppCompat, ce qui n'est pas pratique pour l'intégration. Je me souviens avoir eu le même problème sur UltraTeam. Je le gèrerai cependant de façon opposée -> Au lieu de passer toute mon application sur le même design, je vais transformer le code pour l'utiliser sans ce Framework.

Sprint 2

Date GEOURJON Anthony LEMAIRE Timothée ROUQUIER Clément TURRIN Vincent
SPRINT 2
Lundi 05/02/18 Tâches
  • Travail sur le AIR
  • Export des taches backlog sur Trello
  • Début du code Arduino en partant de l'exemple "HeartRate Monitor"
  • L'APK fournie par un clone du GoogleSample BleGATT ne trouve pas toujours les périphériques BLE environnants. Début des investigations
Remarques
  • Pas mal de difficultés lors du test, en raison de difficultés de debugging sur l'Arduino.
  • L'application fonctionne sans soucis sur les plus anciennes versions d'Android mais semble avoir des soucis à partir d'une certaine version du SDK toujours indéterminée.
  • Étude des problématiques propres à notre projet : Stream de data, Dynamic Time
Mardi 06/02/18 Tâches
  • Avancement du code Arduino.
  • Etude d’un code de reconnaissance de mouvement tensorflow Android, + test, comprendre pour pouvoir modifier en conséquence
Remarques
  • Résolution des problèmes rencontrés la veille (Mauvais initialisation du module gérant les capteurs), puis travail sur l'envoie des données par blutooth.
  • le problème a également fait l'objet de plusieurs Pull Requests sur le dépo. Certaines ont été validées mais aucune mergées.
Mercredi 07/02/18 Tâches
  • Cours de management de projets innovants - 4h
  • Cours de management de projets innovants - 4h
  • Finalisation du code arduino pour le moment.
  • Cours de management de projets innovants - 4h
  • Début du travail d'intégration du GoogleSample BleGATT en tant qu'activité secondaire
  • Cours de management de projets innovants - 4h
  • Étude approfondie des modèles : il faut sûrement utiliser un LSTM
Remarques
  • Recherches sur les UUID (pour l'arduino).
  • Envoie des valeurs depuis l'arduino sous forme binaire (nécessite de séparer les octets des ints)
  • Mise sur Git du code arduino.
  • La forme choisie est celle d'un Dialog Activity pour avoir une interaction ergonomique et user friendly
Jeudi 08/02/18 Tâches
  • Diverses expérimentations avec le MotionGesture. Installation de Gesture Manager sur mon téléphone et record de quelques mouvemnts sur un seul capteur (ceux du téléphone).
  • Application fonctionnelle de façon satisfaisante. Cependant, elle ne gère qu'un serveur BLE GATT là où un par capteur serait nécessaire. Début des modifications en ce sens.
Remarques
  • Beaucoup de travail est reste à effectuer afin de permettre la gestion de plusieurs serveurs en simultanée quand l'application de base ne le gère pas du tout. Une meilleure conception aurait réduit l'impact de ce problème
Vendredi 09/02/18 Tâches
  • Hackathlon
  • Travail de transition pour une gestion multi-serveurs. Modification des structures de données et des Callbacks.
  • Abandon du code trouvé précédemment car le modèle ne nous correspond pas. Reprise d’un code utilisant un modèle LSTM en Tensorflow, qui reconnait l’activité d’une personne (assis, debout, en train de marcher, montant des marches…)
Remarques

Sprint 3

Date GEOURJON Anthony LEMAIRE Timothée ROUQUIER Clément TURRIN Vincent
SPRINT 3
Lundi 12/02/18 Tâches
  • Etudes du protocole BLE pour l'intégration à l'application android
  • Déchiffrage de codes utilisant un modèle LSTM : cela semble être un bon modèle pour notre cas, à voir les résultats pour des moves assez court.
Remarques
  • Cela crée un océan de problèmes de logique en raison de la modification a la volée de la liste lors d'une découverte et du clic sur le bouton menu "Scan/Stop". Après beaucoup de travail sur le Sample je me permet de dire que son design est plus que discutable
Mardi 13/02/18 Tâches
  • Poursuite de l'étude BLE.
  • Suite de la veille
  • Modifications du code pour correspondre à notre formattage de données + modification du prétraitement des données
Remarques
Mercredi 14/02/18 Tâches
  • Conception de la gestion des entraînements. Entraînements au sens "suite d'activités" que l'utilisateur peut faire et vouloir détecter
  • Soutenance mi parcours
  • Soutenance mi parcours
  • Prévision de l'abandon de l'utilisation d'arduinos pour l'utilisation de sensorTags.
  • Préparation de la soutenance
  • Soutenance mi parcours
  • Soutenance mi parcours
  • Résolution problèmes inconnus Tensorflow
Remarques
Jeudi 15/02/18 Tâches
  • Cours gestion
  • Cours gestion
  • Découverte sensorTag
  • Absence jusqu'aux vacances pour cause de déménagement
  • Cours gestion
  • Test d'entraîner le modèle avec des jeux de données : impossible à faire tourner hardware trop faible.
Remarques
Vendredi 16/02/18 Tâches
  • Essai tensor flow sur mon CPU
  • Faire tourner Tensorflow sur GPU : fonctionne mieux.
Remarques

Sprint 4 (Vacances)

Date GEOURJON Anthony LEMAIRE Timothée ROUQUIER Clément TURRIN Vincent
SPRINT 4
/!\Vacances/!\
Semaine du 19 au 25 février Tâches
  • [...]
  • [...]
  • [...]
  • Quelques tests sur SensorTag
Remarques

Sprint 5

Date GEOURJON Anthony LEMAIRE Timothée ROUQUIER Clément TURRIN Vincent
SPRINT 5
Lundi 26/02/18 Tâches
  • Cours de gestion
  • Cours de gestion
  • Analyse de l'application Android sensorTag officiel (openSource)
  • Cours de gestion
  • Changement de trajectoire du projet, nous utiliserons désormais des SensorTAG. Début d'analyse des ressources disponibles afin de voir s'il n'est pas possible d'utiliser un code facile à intégrer
  • Cours de gestion
  • Début modification du code Android d'évalutation : comptabilisation, du nombre de mouvement, chronométrage.
Remarques
  • Solution propriétaire à TI analysée : BLE Stack
Mardi 27/02/18 Tâches
  • Travail sur la gestion des entraînements (création d'entrainement et sauvegarde)
  • La solution fonctionne parfaitement mais ne gère pas le Multi Server GATT. Code trop complexe pour modifications et intégration. Abandon de la solution
  • Début modification code enregistrement data. Objectif : labéliser, choisir librement les limites.
Remarques
Mercredi 28/02/18 Tâches
  • Travail sur la gestion des entraînements (création d'entrainement et sauvegarde)
  • Recherche de stage
  • Recherche de solution alternative pour la connexion au SensorTAG avec gestion de multi serveur GATT
  • Ajout du support du gyroscope
Remarques
  • Beaucoup de ressources disponibles sur le net fonctionnement en fait avec un Gateway Hardware propriétaire, elles sont donc toutes inutilisables dans notre cas
Jeudi 01/03/18 Tâches
  • Travail sur la gestion des entraînements (Visualisation)
  • Découverte du service Android BLE de DeviceHive qui se sert d'un téléphone Android comme Gateway entre plusieurs périphériques BLE et un serveur, répondant à toutes nos contraintes. Exploration et mise en place de cette solution
  • Entraînement avec nos propres données : il faut beaucoup de données, avec peu de données la précision est vraiment mauvaise.
Remarques
  • Solution un peu complexe d'utilisation et qui ne pourra pas être inclue dans une version en production. Cependant très pratique pour acquérir des jeux de données lors du développement
Vendredi 02/03/18 Tâches
  • Travail sur la gestion des entraînements (Visualisation)
  • Réunion 2
  • Réunion 2
  • Solution de DeviceHive fonctionnelle, et découverte d'une nouvelle problématique : La fréquence de notifications des données est de 300 ms, bien trop lent. Pourtant, les spécifications de la carte indiquent une fréquence minimale de 100 ms (il est d'ailleurs apparemment de flasher l'appareil pour augmenter la fréquence)
  • Réunion 2
  • Réunion 2
  • Récolte de plus de données.
Remarques
  • Le problème de fréquence est donc soit lié à DeviceHive soit au téléphone Android. Dans l'immédiat, abandon de la solution DeviceHive pour avoir une version fonctionnelle aussi vite que possible

Sprint 6

Date GEOURJON Anthony LEMAIRE Timothée ROUQUIER Clément TURRIN Vincent
SPRINT 6
Lundi 05/03/18 Tâches
  • Expérimentations avec des jeux de données difféerents
  • MaJ Air

Analyse code BLE Android (celui de Clément)

  • L'application développée par Vincent est suffisamment aboutie pour accepter une intégration des services Bluetooth. Début de cette intégration
  • Modif learning pour utiliser les nouvelles infos capteurs : gyroscope + accél, Modifications formattage des données (Python)
Remarques
  • Cela demandera tout de même beaucoup de travail étant donné les problèmes de clone et d'intégration inhérents à Android.
Mardi 06/03/18 Tâches
  • Refactoring de la gestion des entraînements pour prendre dynamiquement en compte le nombre de mouvements
  • Réunion avec Clément.
  • Réunion avec Timothée afin de se mettre d'accord pour permettre une parallélisation du travail.
  • Le vecteur angulaire n'est pas l'information qu'il nous faut mais plutôt la gravité : changement du code, et reprise de la récupération des données.
Remarques
  • Je travaillerai sur la partie connexion Bluetooth et lui sur la partie GATT (découverte des services et caractéristiques, inscription et lecture des notifications)
Mercredi 07/03/18 Tâches
  • Recherche sur les caractéristiques bluetooth du sensorTag et leur utilisations
  • Intégration de la connexion a l'appli de récupération des données
  • En fait différentes variable pour l'apprentissage n'avaient pas été touchées, il est possible d'avoir de bons résultats avec peu de données.
  • Reprise des tests : très bonne précision avec seulement 40 secondes d'entraînement : les mouvements marcher et sauter sont distingués avec une très bonne précision en ligne droite.
Remarques
Jeudi 08/03/18 Tâches
  • Excusé (TOEIC)
  • Papier et téléphone pour le stage.
  • Suite. Connexion réussie.
  • Rectification après tests : il faut bien l'accélération angulaire, je n'ai pas le capteur sur mon téléphone, je reste sur des infos accéléromètre et c'est précis.
  • Multiples essais en faisant varier les variables pour l'apprentissage tensorflow.
  • Essais et modification du code pour pouvoir faire descendre le nombre de valeur en input assez bas : reconnaître les mouvements de toute durée.
Remarques
Vendredi 09/03/18 Tâches
  • Développement d'une API pour le contrôle du sensorTag une fois connecté.
  • Suite. Clean du code et de la connexion.
  • Tests avec gyroscope (j'ai utilisé le téléphone de Timothée car j'ai pas de gyroscope). Les résultats sont moins bons qu'avec seulement l'accéléromètre. Il faut plus de training. Je cherche comment donner moins d'importance au gyroscope.
Remarques

Sprint 7 (en cours)

Date GEOURJON Anthony LEMAIRE Timothée ROUQUIER Clément TURRIN Vincent
SPRINT 7
Lundi 12/03/18 Tâches
  • Intégration de la gestion des entrainements
  • Suite développement de l'API pour le sensorTag, avancées grâce à une doc pertinente.
  • Obtention de valeur de l'accéléromètre et du gyroscope du sensorTag.
  • Rien
  • Rien
  • Rien
  • Test d'un très grand nombre de settings : retenu analyse d'une fenêtre de 2 secondes, glissante de 500ms en 500ms.
  • Code Python (learning) et code Android (utilisant le modèle) rendus totalement scalable avec quelques tableaux en dur à remplir selon nos besoins (capteurs en entrée, moves en sortie, moves à compter...) --> l'entraînement / l'UI est généré en conséquence .
Remarques
  • Intégration de la gestion des entrainements
  • Il faut que je modifie le code pour éviter certains doublons, et éviter des événements incompatibles à la suite. Un autre point : ajouter un deuxième seuil de validation (autre que la probabilité) : assurer une proba > 0.98 pendant deux avancées de la fenêtre par exemple, je pense que cela va donner des résultats robustes. Un gros problème de notre projet est qu'on est en Open set : nos classes ne représentent pas tous les mouvements possibles (c'est un domaine de recherche très répandu actuellement). On a alors du bruit. On va essayer d'utiliser la méthode simple : enregistrer du bruit, et des moves qui n'ont aucun sens.
Mardi 13/03/18 Tâches
  • Cours de gestion de projet
  • Cours de gestion de projet
  • support de Clément pour l'implémentation l'API sur la base de l'appli.
  • Cours de gestion de projet
  • Mise en relation de la connexion avec a partie de Timothée, résolution de problèmes
  • De nombreux tweaks par rapport à la problématique : être temps réel/précision/pas de faux positif.
  • Réengistrement pour la 70000 fois de données mais ce coup-ci au niveau de la jambe avec et sans gyroscope (j'ai mal aux jambes).
  • Ajout de plus d'option pour ajuster la validation d'un move : un move peut être plus ou moins dur à valider.
  • Cours de gestion de projet
Remarques
  • Problème de fréquence d’échantillonnage, la caractéristique BLE prévu a cette effet ne semble pas avoir d'effet.
  • L'ajout du gyroscope (on passe alors à 6 variables) fait exploser la complexité du modèle il prend un temps très long à être entraîné (normal...)
  • Retour à accéléromètre seul.
Mercredi 14/03/18 Tâches
  • Fin d'intégration de la gestion des entrainements
  • Enregistrement de jeu de données
  • Diapo
  • Tentative d'implémentation du SensorTag sur l'autre application (???) de gestion des entrainements
  • Merge avec le code d'entraînement d'Antho.
  • Réengistrement avec Anthony de plein de données (tout au niveau de la ceinture), avec 10Mo de données on devrait être assez précis.
  • Tweak du modèle encore et encore.
Remarques
  • Échec
Jeudi 15/03/18 Tâches
  • Soutenance
  • Soutenance
  • Matin : Soutenance
  • Apres-Midi : Partir le plus loin possible et ne jamais revenir
  • Soutenance
Remarques


Retrieved from "https://air.imag.fr/index.php?title=RICM5_2017-2018_-_SmartMove&oldid=40933"