RICM5 2017-2018 - SmartMove

Smart Move

Smartmove est un ambitieux projet imaginé par quatre étudiants de Polytech Grenoble. Smartmove est une approche nouvelle du sport avec l'IoT et l'apprentissage machine.

Équipe du projet

Membre	Rôles
Anthony Geourjon	Chef de projet
Timothée Lemaire	Responsable hardware (black belt thinkpad)
Clément Rouquier	Responsable Dofus
Vincent Turrin	Batteur

• Supervisé par : Bernard Tourancheau, Didier Donsez

Abstract

In 2017, two highly innovative domains emerge : the Internet of Things and the Artificial Intelligence and especially the machine learning. These technological advances open new possibilities to imagine new ways to help people. In this project, we present our proposal for the Open IoT challenge 4.0 organized by the Eclipse Foundation. This project is also part of the course of Wireless Sensor Networks given by Prof. Bernard Tourancheau at Polytech Grenoble (Engineering school)

Mots clés

• IoT
• Machine learning,
• Sports

Présentation

Présentation du projet dans le cadre de l'Eclipse IoT challenge : Smartmove

SCRUM

Une liste plus actualisé des tâches est disponible sur Trello : https://trello.com/b/RVfoU3gl/smart-move-first-tasks

Sprint 1 - Du 29/01/18 au 04/02/18

• Définition des rôles
• Mise en place du projet pour tous les membres du groupe(Trello, Github)
• Création de la page AIR pour la tenue de journal
• Prise de contact avec les enseignants concernés
• Début de la phase de conception

• Séance de management de projets innovants
  • Rédaction d'une fiche synthetique de présentation du projet

Sprint 2 - Du 05/02/18 au 11/02/18

• Définition des taches et des deadline sur Trello
• Première expérimentation avec différents modèles de machine learning. Nous faisons face à de très nombreuses contraintes comparé aux modèles que nous trouvons sur le net comme :
  • Nos données sont un flux continu et non un simple échantillon borné à analyser
  • Nous recevons des données de plusieurs capteurs, la synchronisation doit être quasi parfaite pour que les données est un sens.
  • Nous avons découvert des applications d'enregistrement de mouvement fonctionnant sur Android. https://blog.lemberg.co.uk/motion-gesture-detection-using-tensorflow-android
• Choix des technologies pour la communication entre le téléphone et les Arduinos -> BLE
• Cours de gestion de projet

Sprint 3 - Du 12/02/18 au 18/02/18

• Soutenance de mi parcours le mercredi 14/02 de 10h30-11h avec Didier Donsez et Bernard Tourancheau
  • Ils sont satisfait de la direction que prend le projet
  • Didier nous propose de remplacer les Arduino par des SensorTag qui seraient plus adaptés à nos besoins.
• Expérimentations avec un modèle de machine learning prometteur (LSTP Long short term memory) https://github.com/SmartMove-PolytechGrenoble/TensorFlow-on-Android-for-Human-Activity-Recognition-with-LSTMs
• Expérimentations d'entrainement de modèle sur nos machines -> problème de config sur GPU
• Cours de gestion de projet

Sprint 4 - Du 19/02/18 au 25/02/18

Vacances

Sprint 5 - Du 26/02/18 au 04/03/18

• Premières expérimentations avec le SensorTag malgré les problèmes de piles.
• Travail sur la gestion des entraînements (au sens, action que veut reconnaître l'utilisateur)
• Cours de gestion des risques en projets
• Réunion 1 de suivi avec Didier
  • Il est satisfait de nos avancées (communication téléphone/SensorTag, avancement dans le machine learning, etc)

Sprint 6 - Du 05/03/18 au 11/03/18

• Réunion 2 de suivi avec Didier
• Notre modèle est inspiré de : https://drive.google.com/file/d/1u0eh7JCj6yRZqln7Md-eDHJgHbaDcWRC/view?usp=sharing. Nous sommes partis de ce travail et avons modifié le code pour correspondre à nos problématiques / données.
• Enregistrement de données dans diverses positions
• Améliorations du modèle
• Début d'intégration des différentes branches

Sprint 7 - Du 12/03/18 au 18/03/18 (en cours)

• Soutenance le jeudi 15/03 de 9h-10h
• Préparation de la soutenance
• Fusion de tous nos applications de développement en un démonstrateur pour la soutenance
• Enregistrement de données dans diverses positions
• Essais de différents modèle et de différents combinaisons de mouvements

Journal

Sprint1

	Date	GEOURJON Anthony	LEMAIRE Timothée	ROUQUIER Clément	TURRIN Vincent
SPRINT 1
Lundi 29/01/18	Tâches	Récupération du matériel au fablab (Arduino 101) Tentative d'un flash d'un exemple sur la carte		Lecture et compréhension des divers documents produits durant le S9 par les 3 autres membres du projet, un gros travail de conception ayant déjà été effectué en amont de mon arrivée
	Remarques	Impossible de faire marcher quelque chose sur la carte pourtant elle est détecté		Confrontation de l'idée que m'ont donné les documents de conception avec la vision des autres membres afin d'assurer une divergence de trajectoire aussi faible que possible
Mardi 30/01/18	Tâches	Tentative d'un flash d'un exemple sur la carte		La technologie de communication entre les cartes et le téléphone s'effectuera sur la base du Bluetooth BLE. Ayant déjà travaillé sur cette technologie sur le projet UltraTeam, je ferai cette partie.
	Remarques	Le bootloader de la carte est broken et ne fonctionne depuis Linux, Avec Windows Timothée y arrive facilement		Le BLE est une technologie qui m'avait donné beaucoup de tord durant le précédent projet et il m'intéresse de m'y remettre dessus. le nombre de ressources disponibles est assez peu limité et les ressources existantes ont généralement été conçues pour du HardWare spécial
Mercredi 31/01/18	Tâches	Cours de management de projets innovants - 4h	Cours de management de projets innovants - 4h	Cours de management de projets innovants - 4h Analyse du code d'UltraTeam pour voir ce qui est récupérable du travail déjà effectué dans le cadre du projet antérieur	Cours de management de projets innovants - 4h Etude problématique projet Formation tensorflow : tuto simple, structure du code et concepts de base
	Remarques			Je ne récupérerai que peu de code du précédent projet en raison du nombre important de bricolage. J'ai décidé de me rebaser quasi-exclusivement sur le GoogleSample BleGATT
Vendredi 02/02/18	Tâches		Tentative de flash sur l’Arduino récupéré par Anthony au fablab, finalement réussi sur Windows. Essai de l'exemple "HearthRate Monitor" avec connexion Bluetooth.	Création d'un dépot Github se basant sur un Fork du Google Sample et qui aura ensuite pour but d'être intégré dans l'application finale créée par les autres.	Continuation de la formation TF Visionnage vidéos, notamment conférence sur deep learning adapté à Tensorflow
	Remarques		Travail avec Clément pour faire fonctionner l'exemple en BLE sur son début d'appli. finalement fonctionnel en demandant l'utilisation du GPS sur android (Comme le requière la spécification BLE)	Le GoogleSample se base sur un design AppCompat, ce qui n'est pas pratique pour l'intégration. Je me souviens avoir eu le même problème sur UltraTeam. Je le gèrerai cependant de façon opposée -> Au lieu de passer toute mon application sur le même design, je vais transformer le code pour l'utiliser sans ce Framework.

Sprint 2

	Date	GEOURJON Anthony	LEMAIRE Timothée	ROUQUIER Clément	TURRIN Vincent
SPRINT 2
Lundi 05/02/18	Tâches	Travail sur le AIR Export des taches backlog sur Trello	Début du code Arduino en partant de l'exemple "HeartRate Monitor"	L'APK fournie par un clone du GoogleSample BleGATT ne trouve pas toujours les périphériques BLE environnants. Début des investigations
	Remarques		Pas mal de difficultés lors du test, en raison de difficultés de debugging sur l'Arduino.	L'application fonctionne sans soucis sur les plus anciennes versions d'Android mais semble avoir des soucis à partir d'une certaine version du SDK toujours indéterminée.	Étude des problématiques propres à notre projet : Stream de data, Dynamic Time
Mardi 06/02/18	Tâches	Étude avec Vincent d'une application utilisant de la détection de mouvement Tensor Flow sur Android. https://blog.lemberg.co.uk/motion-gesture-detection-using-tensorflow-android	Avancement du code Arduino.	Résolution du bug. Il faut depuis le SDK 23 une autorisation de localisation pour faire fonctionner le Bluetooth. Problème et solution détaillée	Etude d’un code de reconnaissance de mouvement tensorflow Android, + test, comprendre pour pouvoir modifier en conséquence
	Remarques		Résolution des problèmes rencontrés la veille (Mauvais initialisation du module gérant les capteurs), puis travail sur l'envoie des données par blutooth.	le problème a également fait l'objet de plusieurs Pull Requests sur le dépo. Certaines ont été validées mais aucune mergées.
Mercredi 07/02/18	Tâches	Cours de management de projets innovants - 4h	Cours de management de projets innovants - 4h Finalisation du code arduino pour le moment.	Cours de management de projets innovants - 4h Début du travail d'intégration du GoogleSample BleGATT en tant qu'activité secondaire	Cours de management de projets innovants - 4h Étude approfondie des modèles : il faut sûrement utiliser un LSTM
	Remarques		Recherches sur les UUID (pour l'arduino). Envoie des valeurs depuis l'arduino sous forme binaire (nécessite de séparer les octets des ints) Mise sur Git du code arduino.	La forme choisie est celle d'un Dialog Activity pour avoir une interaction ergonomique et user friendly
Jeudi 08/02/18	Tâches	Diverses expérimentations avec le MotionGesture. Installation de Gesture Manager sur mon téléphone et record de quelques mouvemnts sur un seul capteur (ceux du téléphone).		Application fonctionnelle de façon satisfaisante. Cependant, elle ne gère qu'un serveur BLE GATT là où un par capteur serait nécessaire. Début des modifications en ce sens.
	Remarques			Beaucoup de travail est reste à effectuer afin de permettre la gestion de plusieurs serveurs en simultanée quand l'application de base ne le gère pas du tout. Une meilleure conception aurait réduit l'impact de ce problème
Vendredi 09/02/18	Tâches	Etude de l'appli MotionGestureDemo https://github.com/ryanchyshyn/motion_gestures_detection/tree/master/MotionGesturesDemo L’intérêt de cette appli est qu'elle exécute un modèle Tensorflow. Le code nécessaire a cela est externalisé dans une librairie que nous pourrions éventuellement réutiliser	Hackathlon	Travail de transition pour une gestion multi-serveurs. Modification des structures de données et des Callbacks.	Abandon du code trouvé précédemment car le modèle ne nous correspond pas. Reprise d’un code utilisant un modèle LSTM en Tensorflow, qui reconnait l’activité d’une personne (assis, debout, en train de marcher, montant des marches…)
	Remarques

Sprint 3

	Date	GEOURJON Anthony	LEMAIRE Timothée	ROUQUIER Clément	TURRIN Vincent
SPRINT 3
Lundi 12/02/18	Tâches	Recherche de modèle avec Vincent. Expérimentation avec un modèle LSTM : https://medium.com/@curiousily/human-activity-recognition-using-lstms-on-android-tensorflow-for-hackers-part-vi-492da5adef64 Prise en main de ce code	Etudes du protocole BLE pour l'intégration à l'application android	Modification de la ListActivity pour avoir une sélection Multi Choice	Déchiffrage de codes utilisant un modèle LSTM : cela semble être un bon modèle pour notre cas, à voir les résultats pour des moves assez court.
	Remarques			Cela crée un océan de problèmes de logique en raison de la modification a la volée de la liste lors d'une découverte et du clic sur le bouton menu "Scan/Stop". Après beaucoup de travail sur le Sample je me permet de dire que son design est plus que discutable
Mardi 13/02/18	Tâches	Fork du modèle LSTM : https://github.com/SmartMove-PolytechGrenoble/TensorFlow-on-Android-for-Human-Activity-Recognition-with-LSTMs	Poursuite de l'étude BLE.	Suite de la veille	Modifications du code pour correspondre à notre formattage de données + modification du prétraitement des données
	Remarques
Mercredi 14/02/18	Tâches	Conception de la gestion des entraînements. Entraînements au sens "suite d'activités" que l'utilisateur peut faire et vouloir détecter Soutenance mi parcours	Soutenance mi parcours Prévision de l'abandon de l'utilisation d'arduinos pour l'utilisation de sensorTags.	Préparation de la soutenance Soutenance mi parcours	Soutenance mi parcours Résolution problèmes inconnus Tensorflow
	Remarques
Jeudi 15/02/18	Tâches	Cours gestion	Cours gestion Découverte sensorTag	Absence jusqu'aux vacances pour cause de déménagement	Cours gestion Test d'entraîner le modèle avec des jeux de données : impossible à faire tourner hardware trop faible.
	Remarques
Vendredi 16/02/18	Tâches	Essai tensor flow sur mon CPU			Faire tourner Tensorflow sur GPU : fonctionne mieux.
	Remarques

Sprint 4 (Vacances)

	Date	GEOURJON Anthony	LEMAIRE Timothée	ROUQUIER Clément	TURRIN Vincent
SPRINT 4
/!\Vacances/!\
Semaine du 19 au 25 février	Tâches	[...]	[...]	[...]	Quelques tests sur SensorTag
	Remarques

Sprint 5

	Date	GEOURJON Anthony	LEMAIRE Timothée	ROUQUIER Clément	TURRIN Vincent
SPRINT 5
Lundi 26/02/18	Tâches	Cours de gestion	Cours de gestion Analyse de l'application Android sensorTag officiel (openSource)	Cours de gestion Changement de trajectoire du projet, nous utiliserons désormais des SensorTAG. Début d'analyse des ressources disponibles afin de voir s'il n'est pas possible d'utiliser un code facile à intégrer	Cours de gestion Début modification du code Android d'évalutation : comptabilisation, du nombre de mouvement, chronométrage.
	Remarques			Solution propriétaire à TI analysée : BLE Stack
Mardi 27/02/18	Tâches	Travail sur la gestion des entraînements (création d'entrainement et sauvegarde)		La solution fonctionne parfaitement mais ne gère pas le Multi Server GATT. Code trop complexe pour modifications et intégration. Abandon de la solution	Début modification code enregistrement data. Objectif : labéliser, choisir librement les limites.
	Remarques
Mercredi 28/02/18	Tâches	Travail sur la gestion des entraînements (création d'entrainement et sauvegarde)	Recherche de stage	Recherche de solution alternative pour la connexion au SensorTAG avec gestion de multi serveur GATT	Ajout du support du gyroscope
	Remarques			Beaucoup de ressources disponibles sur le net fonctionnement en fait avec un Gateway Hardware propriétaire, elles sont donc toutes inutilisables dans notre cas
Jeudi 01/03/18	Tâches	Travail sur la gestion des entraînements (Visualisation)		Découverte du service Android BLE de DeviceHive qui se sert d'un téléphone Android comme Gateway entre plusieurs périphériques BLE et un serveur, répondant à toutes nos contraintes. Exploration et mise en place de cette solution	Entraînement avec nos propres données : il faut beaucoup de données, avec peu de données la précision est vraiment mauvaise.
	Remarques			Solution un peu complexe d'utilisation et qui ne pourra pas être inclue dans une version en production. Cependant très pratique pour acquérir des jeux de données lors du développement
Vendredi 02/03/18	Tâches	Travail sur la gestion des entraînements (Visualisation) Réunion 2	Réunion 2	Solution de DeviceHive fonctionnelle, et découverte d'une nouvelle problématique : La fréquence de notifications des données est de 300 ms, bien trop lent. Pourtant, les spécifications de la carte indiquent une fréquence minimale de 100 ms (il est d'ailleurs apparemment de flasher l'appareil pour augmenter la fréquence) Réunion 2	Réunion 2 Récolte de plus de données.
	Remarques			Le problème de fréquence est donc soit lié à DeviceHive soit au téléphone Android. Dans l'immédiat, abandon de la solution DeviceHive pour avoir une version fonctionnelle aussi vite que possible

Sprint 6

	Date	GEOURJON Anthony	LEMAIRE Timothée	ROUQUIER Clément	TURRIN Vincent
SPRINT 6
Lundi 05/03/18	Tâches	Expérimentations avec des jeux de données difféerents MaJ Air	Analyse code BLE Android (celui de Clément)	L'application développée par Vincent est suffisamment aboutie pour accepter une intégration des services Bluetooth. Début de cette intégration	Modif learning pour utiliser les nouvelles infos capteurs : gyroscope + accél, Modifications formattage des données (Python)
	Remarques			Cela demandera tout de même beaucoup de travail étant donné les problèmes de clone et d'intégration inhérents à Android.
Mardi 06/03/18	Tâches	Refactoring de la gestion des entraînements pour prendre dynamiquement en compte le nombre de mouvements	Réunion avec Clément.	Réunion avec Timothée afin de se mettre d'accord pour permettre une parallélisation du travail.	Le vecteur angulaire n'est pas l'information qu'il nous faut mais plutôt la gravité : changement du code, et reprise de la récupération des données.
	Remarques			Je travaillerai sur la partie connexion Bluetooth et lui sur la partie GATT (découverte des services et caractéristiques, inscription et lecture des notifications)
Mercredi 07/03/18	Tâches		Recherche sur les caractéristiques bluetooth du sensorTag et leur utilisations	Intégration de la connexion a l'appli de récupération des données	En fait différentes variable pour l'apprentissage n'avaient pas été touchées, il est possible d'avoir de bons résultats avec peu de données. Reprise des tests : très bonne précision avec seulement 40 secondes d'entraînement : les mouvements marcher et sauter sont distingués avec une très bonne précision en ligne droite.
	Remarques
Jeudi 08/03/18	Tâches	Excusé (TOEIC)	Papier et téléphone pour le stage.	Suite. Connexion réussie.	Rectification après tests : il faut bien l'accélération angulaire, je n'ai pas le capteur sur mon téléphone, je reste sur des infos accéléromètre et c'est précis. Multiples essais en faisant varier les variables pour l'apprentissage tensorflow. Essais et modification du code pour pouvoir faire descendre le nombre de valeur en input assez bas : reconnaître les mouvements de toute durée.
	Remarques
Vendredi 09/03/18	Tâches		Développement d'une API pour le contrôle du sensorTag une fois connecté.	Suite. Clean du code et de la connexion.	Tests avec gyroscope (j'ai utilisé le téléphone de Timothée car j'ai pas de gyroscope). Les résultats sont moins bons qu'avec seulement l'accéléromètre. Il faut plus de training. Je cherche comment donner moins d'importance au gyroscope.
	Remarques

Sprint 7 (en cours)

	Date	GEOURJON Anthony	LEMAIRE Timothée	ROUQUIER Clément	TURRIN Vincent
SPRINT 7
Lundi 12/03/18	Tâches	Intégration de la gestion des entrainements	Suite développement de l'API pour le sensorTag, avancées grâce à une doc pertinente. Obtention de valeur de l'accéléromètre et du gyroscope du sensorTag.	Rien Rien Rien	Test d'un très grand nombre de settings : retenu analyse d'une fenêtre de 2 secondes, glissante de 500ms en 500ms. Code Python (learning) et code Android (utilisant le modèle) rendus totalement scalable avec quelques tableaux en dur à remplir selon nos besoins (capteurs en entrée, moves en sortie, moves à compter...) --> l'entraînement / l'UI est généré en conséquence .
	Remarques	Intégration de la gestion des entrainements			Il faut que je modifie le code pour éviter certains doublons, et éviter des événements incompatibles à la suite. Un autre point : ajouter un deuxième seuil de validation (autre que la probabilité) : assurer une proba > 0.98 pendant deux avancées de la fenêtre par exemple, je pense que cela va donner des résultats robustes. Un gros problème de notre projet est qu'on est en Open set : nos classes ne représentent pas tous les mouvements possibles (c'est un domaine de recherche très répandu actuellement). On a alors du bruit. On va essayer d'utiliser la méthode simple : enregistrer du bruit, et des moves qui n'ont aucun sens.
Mardi 13/03/18	Tâches	Cours de gestion de projet	Cours de gestion de projet support de Clément pour l'implémentation l'API sur la base de l'appli.	Cours de gestion de projet Mise en relation de la connexion avec a partie de Timothée, résolution de problèmes	De nombreux tweaks par rapport à la problématique : être temps réel/précision/pas de faux positif. Réengistrement pour la 70000 fois de données mais ce coup-ci au niveau de la jambe avec et sans gyroscope (j'ai mal aux jambes). Ajout de plus d'option pour ajuster la validation d'un move : un move peut être plus ou moins dur à valider. Cours de gestion de projet
	Remarques		Problème de fréquence d’échantillonnage, la caractéristique BLE prévu a cette effet ne semble pas avoir d'effet.		L'ajout du gyroscope (on passe alors à 6 variables) fait exploser la complexité du modèle il prend un temps très long à être entraîné (normal...) Retour à accéléromètre seul.
Mercredi 14/03/18	Tâches	Fin d'intégration de la gestion des entrainements Enregistrement de jeu de données Diapo		Tentative d'implémentation du SensorTag sur l'autre application (???) de gestion des entrainements	Merge avec le code d'entraînement d'Antho. Réengistrement avec Anthony de plein de données (tout au niveau de la ceinture), avec 10Mo de données on devrait être assez précis. Tweak du modèle encore et encore.
	Remarques			Échec
Jeudi 15/03/18	Tâches	Soutenance	Soutenance	Matin : Soutenance Apres-Midi : Partir le plus loin possible et ne jamais revenir	Soutenance
	Remarques