|
|
| Line 718: |
Line 718: |
|
*Recherche sur les caractéristiques bluetooth du sensorTag et leur utilisations |
|
*Recherche sur les caractéristiques bluetooth du sensorTag et leur utilisations |
|
|<!-- Clément --> style="width: 280px;" | |
|
|<!-- Clément --> style="width: 280px;" | |
|
Intégration de la connexion a l'appli de récupération des données |
|
* Intégration de la connexion a l'appli de récupération des données |
|
|<!-- Vincent --> style="width: 280px;" | |
|
|<!-- Vincent --> style="width: 280px;" | |
|
* En fait différentes variable pour l'apprentissage n'avaient pas été touchées, il est possible d'avoir de bons résultats avec peu de données. |
|
* En fait différentes variable pour l'apprentissage n'avaient pas été touchées, il est possible d'avoir de bons résultats avec peu de données. |
| Line 741: |
Line 741: |
|
* Papier et téléphone pour le stage. |
|
* Papier et téléphone pour le stage. |
|
|<!-- Clément --> style="width: 280px;" | |
|
|<!-- Clément --> style="width: 280px;" | |
|
Suite. Connexion réussie. |
|
* Suite. Connexion réussie. |
|
|<!-- Vincent --> style="width: 280px;" | |
|
|<!-- Vincent --> style="width: 280px;" | |
|
* Rectification après tests : il faut bien l'accélération angulaire, je n'ai pas le capteur sur mon téléphone, je reste sur des infos accéléromètre et c'est précis. |
|
* Rectification après tests : il faut bien l'accélération angulaire, je n'ai pas le capteur sur mon téléphone, je reste sur des infos accéléromètre et c'est précis. |
| Line 763: |
Line 763: |
|
* Développement d'une API pour le contrôle du sensorTag une fois connecté. |
|
* Développement d'une API pour le contrôle du sensorTag une fois connecté. |
|
|<!-- Clément --> style="width: 280px;" | |
|
|<!-- Clément --> style="width: 280px;" | |
|
Suite. Clean du code et de la connexion. |
|
* Suite. Clean du code et de la connexion. |
|
|<!-- Vincent --> style="width: 280px;" | |
|
|<!-- Vincent --> style="width: 280px;" | |
|
* Tests avec gyroscope (j'ai utilisé le téléphone de Timothée car j'ai pas de gyroscope). Les résultats sont moins bons qu'avec seulement l'accéléromètre. Il faut plus de training. Je cherche comment donner moins d'importance au gyroscope. |
|
* Tests avec gyroscope (j'ai utilisé le téléphone de Timothée car j'ai pas de gyroscope). Les résultats sont moins bons qu'avec seulement l'accéléromètre. Il faut plus de training. Je cherche comment donner moins d'importance au gyroscope. |
Smart Move
Smartmove est un ambitieux projet imaginé par quatre étudiants de Polytech Grenoble. Smartmove est une approche nouvelle du sport avec l'IoT et l'apprentissage machine.
Équipe du projet
| Membre
|
Rôles
|
| Anthony Geourjon
|
Chef de projet
|
| Timothée Lemaire
|
Responsable hardware (black belt thinkpad)
|
| Clément Rouquier
|
Responsable Dofus
|
| Vincent Turrin
|
Batteur
|
- Supervisé par : Bernard Tourancheau, Didier Donsez
Abstract
In 2017, two highly innovative domains emerge : the Internet of Things and the Artificial Intelligence and especially the machine learning. These technological advances open new possibilities to imagine new ways to help people. In this project, we present our proposal for the Open IoT challenge 4.0 organized by the Eclipse Foundation. This project is also part of the course of Wireless Sensor Networks given by Prof. Bernard Tourancheau at Polytech Grenoble (Engineering school)
Mots clés
- IoT
- Machine learning,
- Sports
Présentation
Présentation du projet dans le cadre de l'Eclipse IoT challenge : Smartmove
SCRUM
Une liste plus actualisé des tâches est disponible sur Trello : https://trello.com/b/RVfoU3gl/smart-move-first-tasks
Sprint 1 - Du 29/01/18 au 04/02/18
- Définition des rôles
- Mise en place du projet pour tous les membres du groupe(Trello, Github)
- Création de la page AIR pour la tenue de journal
- Prise de contact avec les enseignants concernés
- Début de la phase de conception
- Séance de management de projets innovants
Sprint 2 - Du 05/02/18 au 11/02/18
- Définition des taches et des deadline sur Trello
- Première expérimentation avec différents modèles de machine learning. Nous faisons face à de très nombreuses contraintes comparé aux modèles que nous trouvons sur le net comme :
- Choix des technologies pour la communication entre le téléphone et les Arduinos -> BLE
- Cours de gestion de projet
Sprint 3 - Du 12/02/18 au 18/02/18
- Soutenance de mi parcours le mercredi 14/02 de 10h30-11h avec Didier Donsez et Bernard Tourancheau
- Ils sont satisfait de la direction que prend le projet
- Didier nous propose de remplacer les Arduino par des SensorTag qui seraient plus adaptés à nos besoins.
- Expérimentations avec un modèle de machine learning prometteur (LSTP Long short term memory) https://github.com/SmartMove-PolytechGrenoble/TensorFlow-on-Android-for-Human-Activity-Recognition-with-LSTMs
- Expérimentations d'entrainement de modèle sur nos machines -> problème de config sur GPU
- Cours de gestion de projet
Sprint 4 - Du 19/02/18 au 25/02/18
Vacances
Sprint 5 - Du 26/02/18 au 04/03/18
- Premières expérimentations avec le SensorTag malgré les problèmes de piles.
- Travail sur la gestion des entraînements (au sens, action que veut reconnaître l'utilisateur)
- Cours de gestion des risques en projets
- Réunion 1 de suivi avec Didier
- Il est satisfait de nos avancées (communication téléphone/SensorTag, avancement dans le machine learning, etc)
Sprint 6 - Du 05/03/18 au 11/03/18 (en cours)
Sprint 7 - Du 12/03/18 au 18/03/18 (prévisions)
- Soutenance le jeudi 15/03 de 9h-10h
- Préparation de la soutenance
- Fusion de tous nos applications de développement en un démonstrateur pour la soutenance
Journal
Sprint1
|
|
Date
|
GEOURJON Anthony
|
LEMAIRE Timothée
|
ROUQUIER Clément
|
TURRIN Vincent
|
| SPRINT 1
|
| Lundi 29/01/18
|
Tâches
|
- Récupération du matériel au fablab (Arduino 101)
- Tentative d'un flash d'un exemple sur la carte
|
|
- Lecture et compréhension des divers documents produits durant le S9 par les 3 autres membres du projet, un gros travail de conception ayant déjà été effectué en amont de mon arrivée
|
|
| Remarques
|
- Impossible de faire marcher quelque chose sur la carte pourtant elle est détecté
|
|
- Confrontation de l'idée que m'ont donné les documents de conception avec la vision des autres membres afin d'assurer une divergence de trajectoire aussi faible que possible
|
|
| Mardi 30/01/18
|
Tâches
|
- Tentative d'un flash d'un exemple sur la carte
|
|
- La technologie de communication entre les cartes et le téléphone s'effectuera sur la base du Bluetooth BLE. Ayant déjà travaillé sur cette technologie sur le projet UltraTeam, je ferai cette partie.
|
|
| Remarques
|
- Le bootloader de la carte est broken et ne fonctionne depuis Linux, Avec Windows Timothée y arrive facilement
|
|
- Le BLE est une technologie qui m'avait donné beaucoup de tord durant le précédent projet et il m'intéresse de m'y remettre dessus. le nombre de ressources disponibles est assez peu limité et les ressources existantes ont généralement été conçues pour du HardWare spécial
|
|
| Mercredi 31/01/18
|
Tâches
|
- Cours de management de projets innovants - 4h
|
- Cours de management de projets innovants - 4h
|
- Cours de management de projets innovants - 4h
- Analyse du code d'UltraTeam pour voir ce qui est récupérable du travail déjà effectué dans le cadre du projet antérieur
|
- Cours de management de projets innovants - 4h
- Etude problématique projet
- Formation tensorflow : tuto simple, structure du code et concepts de base
|
| Remarques
|
|
|
- Je ne récupérerai que peu de code du précédent projet en raison du nombre important de bricolage. J'ai décidé de me rebaser quasi-exclusivement sur le GoogleSample BleGATT
|
|
| Vendredi 02/02/18
|
Tâches
|
|
- Tentative de flash sur l’Arduino récupéré par Anthony au fablab, finalement réussi sur Windows.
- Essai de l'exemple "HearthRate Monitor" avec connexion Bluetooth.
|
- Création d'un dépot Github se basant sur un Fork du Google Sample et qui aura ensuite pour but d'être intégré dans l'application finale créée par les autres.
|
- Continuation de la formation TF Visionnage vidéos, notamment conférence sur deep learning adapté à Tensorflow
|
| Remarques
|
|
- Travail avec Clément pour faire fonctionner l'exemple en BLE sur son début d'appli. finalement fonctionnel en demandant l'utilisation du GPS sur android (Comme le requière la spécification BLE)
|
- Le GoogleSample se base sur un design AppCompat, ce qui n'est pas pratique pour l'intégration. Je me souviens avoir eu le même problème sur UltraTeam. Je le gèrerai cependant de façon opposée -> Au lieu de passer toute mon application sur le même design, je vais transformer le code pour l'utiliser sans ce Framework.
|
|
Sprint 2
|
|
Date
|
GEOURJON Anthony
|
LEMAIRE Timothée
|
ROUQUIER Clément
|
TURRIN Vincent
|
| SPRINT 2
|
| Lundi 05/02/18
|
Tâches
|
- Travail sur le AIR
- Export des taches backlog sur Trello
|
- Début du code Arduino en partant de l'exemple "HeartRate Monitor"
|
- L'APK fournie par un clone du GoogleSample BleGATT ne trouve pas toujours les périphériques BLE environnants. Début des investigations
|
|
| Remarques
|
|
- Pas mal de difficultés lors du test, en raison de difficultés de debugging sur l'Arduino.
|
- L'application fonctionne sans soucis sur les plus anciennes versions d'Android mais semble avoir des soucis à partir d'une certaine version du SDK toujours indéterminée.
|
- Étude des problématiques propres à notre projet : Stream de data, Dynamic Time
|
| Mardi 06/02/18
|
Tâches
|
|
- Avancement du code Arduino.
|
|
- Etude d’un code de reconnaissance de mouvement tensorflow Android, + test, comprendre pour pouvoir modifier en conséquence
|
| Remarques
|
|
- Résolution des problèmes rencontrés la veille (Mauvais initialisation du module gérant les capteurs), puis travail sur l'envoie des données par blutooth.
|
- le problème a également fait l'objet de plusieurs Pull Requests sur le dépo. Certaines ont été validées mais aucune mergées.
|
|
| Mercredi 07/02/18
|
Tâches
|
- Cours de management de projets innovants - 4h
|
- Cours de management de projets innovants - 4h
- Finalisation du code arduino pour le moment.
|
- Cours de management de projets innovants - 4h
- Début du travail d'intégration du GoogleSample BleGATT en tant qu'activité secondaire
|
- Cours de management de projets innovants - 4h
- Étude approfondie des modèles : il faut sûrement utiliser un LSTM
|
| Remarques
|
|
- Recherches sur les UUID (pour l'arduino).
- Envoie des valeurs depuis l'arduino sous forme binaire (nécessite de séparer les octets des ints)
- Mise sur Git du code arduino.
|
- La forme choisie est celle d'un Dialog Activity pour avoir une interaction ergonomique et user friendly
|
|
| Jeudi 08/02/18
|
Tâches
|
- Diverses expérimentations avec le MotionGesture. Installation de Gesture Manager sur mon téléphone et record de quelques mouvemnts sur un seul capteur (ceux du téléphone).
|
|
- Application fonctionnelle de façon satisfaisante. Cependant, elle ne gère qu'un serveur BLE GATT là où un par capteur serait nécessaire. Début des modifications en ce sens.
|
|
| Remarques
|
|
|
- Beaucoup de travail est reste à effectuer afin de permettre la gestion de plusieurs serveurs en simultanée quand l'application de base ne le gère pas du tout. Une meilleure conception aurait réduit l'impact de ce problème
|
|
| Vendredi 09/02/18
|
Tâches
|
|
|
- Travail de transition pour une gestion multi-serveurs. Modification des structures de données et des Callbacks.
|
- Abandon du code trouvé précédemment car le modèle ne nous correspond pas. Reprise d’un code utilisant un modèle LSTM en Tensorflow, qui reconnait l’activité d’une personne (assis, debout, en train de marcher, montant des marches…)
|
| Remarques
|
|
|
|
|
Sprint 3
|
|
Date
|
GEOURJON Anthony
|
LEMAIRE Timothée
|
ROUQUIER Clément
|
TURRIN Vincent
|
| SPRINT 3
|
| Lundi 12/02/18
|
Tâches
|
|
- Etudes du protocole BLE pour l'intégration à l'application android
|
|
- Déchiffrage de codes utilisant un modèle LSTM : cela semble être un bon modèle pour notre cas, à voir les résultats pour des moves assez court.
|
| Remarques
|
|
|
- Cela crée un océan de problèmes de logique en raison de la modification a la volée de la liste lors d'une découverte et du clic sur le bouton menu "Scan/Stop". Après beaucoup de travail sur le Sample je me permet de dire que son design est plus que discutable
|
|
| Mardi 13/02/18
|
Tâches
|
|
- Poursuite de l'étude BLE.
|
|
- Modifications du code pour correspondre à notre formattage de données + modification du prétraitement des données
|
| Remarques
|
|
|
|
|
| Mercredi 14/02/18
|
Tâches
|
- Conception de la gestion des entraînements. Entraînements au sens "suite d'activités" que l'utilisateur peut faire et vouloir détecter
- Soutenance mi parcours
|
- Soutenance mi parcours
- Prévision de l'abandon de l'utilisation d'arduinos pour l'utilisation de sensorTags.
|
- Préparation de la soutenance
- Soutenance mi parcours
|
- Soutenance mi parcours
- Résolution problèmes inconnus Tensorflow
|
| Remarques
|
|
|
|
|
| Jeudi 15/02/18
|
Tâches
|
|
- Cours gestion
- Découverte sensorTag
|
- Absence jusqu'aux vacances pour cause de déménagement
|
- Cours gestion
- Test d'entraîner le modèle avec des jeux de données : impossible à faire tourner hardware trop faible.
|
| Remarques
|
|
|
|
|
| Vendredi 16/02/18
|
Tâches
|
- Essai tensor flow sur mon CPU
|
|
|
- Faire tourner Tensorflow sur GPU : fonctionne mieux.
|
| Remarques
|
|
|
|
|
Sprint 4 (Vacances)
|
|
Date
|
GEOURJON Anthony
|
LEMAIRE Timothée
|
ROUQUIER Clément
|
TURRIN Vincent
|
| SPRINT 4
|
| /!\Vacances/!\
|
| Semaine du 19 au 25 février
|
Tâches
|
|
|
|
- Quelques tests sur SensorTag
|
| Remarques
|
|
|
|
|
Sprint 5
|
|
Date
|
GEOURJON Anthony
|
LEMAIRE Timothée
|
ROUQUIER Clément
|
TURRIN Vincent
|
| SPRINT 5
|
| Lundi 26/02/18
|
Tâches
|
|
- Cours de gestion
- Analyse de l'application Android sensorTag officiel (openSource)
|
- Cours de gestion
- Changement de trajectoire du projet, nous utiliserons désormais des SensorTAG. Début d'analyse des ressources disponibles afin de voir s'il n'est pas possible d'utiliser un code facile à intégrer
|
- Cours de gestion
- Début modification du code Android d'évalutation : comptabilisation, du nombre de mouvement, chronométrage.
|
| Remarques
|
|
|
- Solution propriétaire à TI analysée : BLE Stack
|
|
| Mardi 27/02/18
|
Tâches
|
- Travail sur la gestion des entraînements (création d'entrainement et sauvegarde)
|
|
- La solution fonctionne parfaitement mais ne gère pas le Multi Server GATT. Code trop complexe pour modifications et intégration. Abandon de la solution
|
- Début modification code enregistrement data. Objectif : labéliser, choisir librement les limites.
|
| Remarques
|
|
|
|
|
| Mercredi 28/02/18
|
Tâches
|
- Travail sur la gestion des entraînements (création d'entrainement et sauvegarde)
|
|
- Recherche de solution alternative pour la connexion au SensorTAG avec gestion de multi serveur GATT
|
- Ajout du support du gyroscope
|
| Remarques
|
|
|
- Beaucoup de ressources disponibles sur le net fonctionnement en fait avec un Gateway Hardware propriétaire, elles sont donc toutes inutilisables dans notre cas
|
|
| Jeudi 01/03/18
|
Tâches
|
- Travail sur la gestion des entraînements (Visualisation)
|
|
- Découverte du service Android BLE de DeviceHive qui se sert d'un téléphone Android comme Gateway entre plusieurs périphériques BLE et un serveur, répondant à toutes nos contraintes. Exploration et mise en place de cette solution
|
- Entraînement avec nos propres données : il faut beaucoup de données, avec peu de données la précision est vraiment mauvaise.
|
| Remarques
|
|
|
- Solution un peu complexe d'utilisation et qui ne pourra pas être inclue dans une version en production. Cependant très pratique pour acquérir des jeux de données lors du développement
|
|
| Vendredi 02/03/18
|
Tâches
|
- Travail sur la gestion des entraînements (Visualisation)
- Réunion 2
|
|
- Solution de DeviceHive fonctionnelle, et découverte d'une nouvelle problématique : La fréquence de notifications des données est de 300 ms, bien trop lent. Pourtant, les spécifications de la carte indiquent une fréquence minimale de 100 ms (il est d'ailleurs apparemment de flasher l'appareil pour augmenter la fréquence)
- Réunion 2
|
- Réunion 2
- Récolte de plus de données.
|
| Remarques
|
|
|
- Le problème de fréquence est donc soit lié à DeviceHive soit au téléphone Android. Dans l'immédiat, abandon de la solution DeviceHive pour avoir une version fonctionnelle aussi vite que possible
|
|
Sprint 6
|
|
Date
|
GEOURJON Anthony
|
LEMAIRE Timothée
|
ROUQUIER Clément
|
TURRIN Vincent
|
| SPRINT 6
|
| Lundi 05/03/18
|
Tâches
|
|
Analyse code BLE Android (celui de Clément)
|
- L'application développée par Vincent est suffisamment aboutie pour accepter une intégration des services Bluetooth. Début de cette intégration
|
- Modif learning pour utiliser les nouvelles infos capteurs : gyroscope + accél, Modifications formattage des données (Python)
|
| Remarques
|
|
|
- Cela demandera tout de même beaucoup de travail étant donné les problèmes de clone et d'intégration inhérents à Android.
|
|
| Mardi 06/03/18
|
Tâches
|
|
|
- Réunion avec Timothée afin de se mettre d'accord pour permettre une parallélisation du travail.
|
- Le vecteur angulaire n'est pas l'information qu'il nous faut mais plutôt la gravité : changement du code, et reprise de la récupération des données.
|
| Remarques
|
|
|
- Je travaillerai sur la partie connexion Bluetooth et lui sur la partie GATT (découverte des services et caractéristiques, inscription et lecture des notifications)
|
|
| Mercredi 07/03/18
|
Tâches
|
|
- Recherche sur les caractéristiques bluetooth du sensorTag et leur utilisations
|
- Intégration de la connexion a l'appli de récupération des données
|
- En fait différentes variable pour l'apprentissage n'avaient pas été touchées, il est possible d'avoir de bons résultats avec peu de données.
- Reprise des tests : très bonne précision avec seulement 40 secondes d'entraînement : les mouvements marcher et sauter sont distingués avec une très bonne précision en ligne droite.
|
| Remarques
|
|
|
|
|
| Jeudi 08/03/18
|
Tâches
|
|
- Papier et téléphone pour le stage.
|
- Suite. Connexion réussie.
|
- Rectification après tests : il faut bien l'accélération angulaire, je n'ai pas le capteur sur mon téléphone, je reste sur des infos accéléromètre et c'est précis.
- Multiples essais en faisant varier les variables pour l'apprentissage tensorflow.
- Essais et modification du code pour pouvoir faire descendre le nombre de valeur en input assez bas : reconnaître les mouvements de toute durée.
|
| Remarques
|
|
|
|
|
| Vendredi 09/03/18
|
Tâches
|
|
- Développement d'une API pour le contrôle du sensorTag une fois connecté.
|
- Suite. Clean du code et de la connexion.
|
- Tests avec gyroscope (j'ai utilisé le téléphone de Timothée car j'ai pas de gyroscope). Les résultats sont moins bons qu'avec seulement l'accéléromètre. Il faut plus de training. Je cherche comment donner moins d'importance au gyroscope.
|
| Remarques
|
|
|
|
|
Sprint 7 (à venir)
|
|
Date
|
GEOURJON Anthony
|
LEMAIRE Timothée
|
ROUQUIER Clément
|
TURRIN Vincent
|
| SPRINT 7
|
| Lundi 12/03/18
|
Tâches
|
|
- Suite développement de l'API pour le sensorTag, avancées grâce à une doc pertinente.
- Obtention de valeur de l'accéléromètre et du gyroscope du sensorTag.
|
|
- Test d'un très grand nombre de settings : retenu analyse d'une fenêtre de 2 secondes, glissante de 500ms en 500ms.
- Code Python (learning) et code Android (utilisant le modèle) rendus totalement scalable avec quelques tableaux en dur à remplir selon nos besoins (capteurs en entrée, moves en sortie, moves à compter...) --> l'entraînement / l'UI est généré en conséquence .
|
| Remarques
|
|
|
|
- Il faut que je modifie le code pour éviter certains doublons, et éviter des événements incompatibles à la suite. Un autre point : ajouter un deuxième seuil de validation (autre que la probabilité) : assurer une proba > 0.98 pendant deux avancées de la fenêtre par exemple, je pense que cela va donner des résultats robustes. Un gros problème de notre projet est qu'on est en Open set : nos classes ne représentent pas tous les mouvements possibles (c'est un domaine de recherche très répandu actuellement). On a alors du bruit. On va essayer d'utiliser la méthode simple : enregistrer du bruit, et des moves qui n'ont aucun sens.
|
| Mardi 13/03/18
|
Tâches
|
|
- Cours de gestion de projet
- support de Clément pour l'implémentation l'API sur la base de l'appli.
|
- Cours de gestion de projet
- Mise en relation de la connexion avec a partie de Timothée, résolution de problèmes
|
|
| Remarques
|
|
- Problème de fréquence d’échantillonnage, la caractéristique BLE prévu a cette effet ne semble pas avoir d'effet.
|
|
|
| Mercredi 14/03/18
|
Tâches
|
|
|
- Tentative de mise de mise du SensorTag sur autre application (???) de gestion des entrainements
|
|
| Remarques
|
|
|
|
|
| Jeudi 15/03/18
|
Tâches
|
|
|
- Matin : Soutenance
- Apres-Midi : Partir le plus loin possible et ne jamais revenir
|
|
| Remarques
|
|
|
|
|
