SmartRecruiting/Reunions: Difference between revisions
(27 intermediate revisions by 3 users not shown) | |||
Line 159: | Line 159: | ||
** US46 : Préparer la soutenance mi-parcours |
** US46 : Préparer la soutenance mi-parcours |
||
** US47 : Tests unitaires |
** US47 : Tests unitaires |
||
=== Daily 13/02 === |
|||
'''Présents''' : Alicia, Antoine, Héloïse, Romane, Qianqian |
|||
*''Ce qui a été fait'' |
|||
** Installations pour faire tourner le back, mise en forme du Excel de la base d'apprentissage (RG) |
|||
** Continuer le Front-End |
|||
*** Lien offre-formation via des services (HF) |
|||
*** Page Admin données + logique derrière (AA) |
|||
** Commencer la mise en place de SonarQube (AG) |
|||
** Prétraitement des offres (QF) |
|||
*** Mettre en forme les offres (Taille fixe) |
|||
* ''Difficultés'' |
|||
** Utilisation de service pour la logique du Front-End (AA) |
|||
* ''Tâches à effectuer'' |
|||
** Automatiser les runs SonarQube (AG) |
|||
** Lancer la construction des descripteurs des offres (Word2Vector) (QF) |
|||
** Voir M. Besacier (tous) |
|||
** Compléter l'implémentation des méthodes de l'API (RG) |
|||
** Continuer le Front-End |
|||
*** Logique de connexion (HF) |
|||
*** Utiliser les services + Page formations de l'admin (AA) |
|||
=== Daily 14/02 === |
|||
'''Présents''' : Alicia, Antoine, Héloïse, Romane, Qianqian |
|||
*''Ce qui a été fait'' |
|||
** Rajouter des méthodes dans le Back-End (RG) |
|||
** Front-End |
|||
*** Finir des pages et commencer le service de connexion (HF) |
|||
*** Finir les pages admin et modification de la page mes offre (AA) |
|||
** Finit le pré-traitement des offres, débuter le traitement de la base d'apprentissage (QF) |
|||
** Terminer la mise en place de SonarQube automatisée, commencer recherche pour tests-unitaires (AG) |
|||
* ''Difficultés'' |
|||
** Définir la manière de donner la même taille à tout les textes (QF) |
|||
* ''Tâches à effectuer'' |
|||
** Front-End : Finir le service de connexion (HF) |
|||
** Recherches test-unitaires et mise en place (AG) |
|||
** Back-End: continuer l'implémentation des méthodes (RG) |
|||
** Traitement de la base d'apprentissage (QF) |
|||
** Installer la clé Intel Movidius (AA) |
|||
** Comparaison TensorFlow cloud et en local (AA) |
|||
=== Daily 16/02 === |
|||
'''Présents''' : Alicia, Antoine, Héloïse, Romane, Qianqian |
|||
*''Ce qui a été fait'' |
|||
** Review du back-end : changer les noms de la BDD (RG) |
|||
** Finir l'architecture du front (HF) |
|||
** Finir la rédaction du code de pré-traitement des offres (QF) |
|||
** Recherches Tests unitaires et mise en place (AG) |
|||
** Installer le logiciel pour la clef (AA) |
|||
** Tutoriel TensorFlow CNN (AA) |
|||
* ''Difficultés'' |
|||
** Changer les noms a tout cassé (RG) |
|||
* ''Tâches à effectuer'' |
|||
** Tests unitaires et documentation du code (QF, AG) |
|||
** Sélectionner un hébergeur (HF) |
|||
** Tutoriel/Doc TensorFlow (AA, HF) |
|||
** Installer la clé (AA) |
|||
** Corriger le back-end (RG) |
|||
=== Sprint Review 16/02 === |
|||
* ''Ce qui a été fait'' |
|||
** Archi Back & Front terminées :D |
|||
** Clé installée |
|||
* ''Rétrospective du sprint'' |
|||
** On avait prévus moins que ce que l'on pouvait faire donc on en a rajouté en route |
|||
** Implémentation non terminée des requêtes back mais ce n'est pas grave |
|||
** Tests unitaires = grosse charge mais une seule personne dessus et des problèmes |
|||
** Une tache encore en test mais c'est normal du a la mise en place difficile des test unitaires. |
|||
'''Le prochain sprint va être clé !''' |
|||
==Sprint 3== |
|||
=== Sprint Planning 26/02 === |
|||
'''Présents''' : Alicia, Antoine, Héloïse, Romane, Qianqian |
|||
* ''Ce qui a été fait'' |
|||
** US4 : Mettre en place SonarQube |
|||
** US41 : Créer architecture Front-End |
|||
** US43 : Choisir l'hébergeur |
|||
** US44 : Comparaison TensorFlow cloud et TensorFlow en local |
|||
** US46 : Préparer la soutenance mi-parcours |
|||
* ''Ce qui a été reporté'' |
|||
** US19 : Pré-traiter les offres (en Test) |
|||
** US21 : Préparer la base d'apprentissage (en implémentation) |
|||
** US45 : Définir et implémenter |
|||
** US47 : Tests unitaires |
|||
* ''Choix des users stories pour le sprint 3'' |
|||
** US20 : Créer et entrainer les réseaux de neurones sur la base d'apprentissage |
|||
** US22 : Déployer la back-end sur un/des serveur(s) |
|||
** US23 : Déployer la base de donnée sur un/des serveur(s) |
|||
** US49 : Automatiser les tests unitaires |
|||
=== Daily 27/02 === |
|||
'''Présents''' : Alicia, Antoine, Héloïse, Romane, Qianqian |
|||
* ''Ce qui a été fait'' |
|||
** US45 |
|||
*** (HF) : Connexion, déconnexion et inscription |
|||
*** (RG) : Fonction pour ajouter des équipes dans la BDD, test de fonctions, ajout de fonction pour récupérer les formations associées à une offre |
|||
** US20 |
|||
*** (QF) : Etudier le projet de l'année dernière pour la prédiction (ils utilisent RNN) |
|||
*** (AA) : Installation de TensorFlow |
|||
** US47 (AG) Travail sur la BDD pour les tests unitaires |
|||
* ''Difficultés rencontrées'' |
|||
** (HF) Hachage du password, déconnexion (màj du booléen) |
|||
** (AA) Installation de Cuda sans succès |
|||
* ''Ce qui est à faire'' |
|||
** (HF) : Continuer les fonctions de connexion/déconnexion sur le back-end. Recherches pour la mise en place de Jenkins pour le serveur |
|||
** (QF) : Continuer le tutoriel pour l'apprentissage multiclasses |
|||
** (RG) : Continuer les fonctions dans le back-end (API) |
|||
** (AG) : Conitnuer sur les test unitaires (création de la BDD) |
|||
** (AA) : Recherche pour la prédiction multiclasses avec nombre de classes non fixé. Tutoriel TensorFlow CNN. |
|||
=== Daily 28/02 === |
|||
'''Présents''' : Alicia, Antoine, Héloïse, Romane, Qianqian |
|||
* ''Ce qui a été fait'' |
|||
** (AG) Tests unitaires on avance dans la mise en place de BDD spécifique aux tests unitaires |
|||
** (RG) Finir l'implémentation des méthodes de l'API |
|||
** (QF) Continuer les recherches : Trouvé un tutoriel avec Word2Vec, CNN, multiclasses |
|||
** (HF) Transféré les fonctions de connexion, inscription, déconnexion à partir du projet de l'année dernière et installation d'Apache sur la machine serveur |
|||
** (AA) Complété le pré-traitement des offres |
|||
* ''Difficultés rencontrées'' |
|||
** RAS |
|||
* ''Ce qui est à faire'' |
|||
** Réunion pour déterminer ce que nous allons implémenter pour l'apprentissage et la prédiction de formations (en utilisant CNN) |
|||
** Réunion tests unitaires |
|||
** (HF et RG) Review de code |
|||
** Implémentation de CNN |
|||
=== Daily 01/03 === |
|||
'''Présents''' : Alicia, Antoine, Héloïse, Qianqian, Romane (retard) |
|||
* ''Ce qui a été fait'' |
|||
** (QF) Commencé l'algorithme d'apprentissage |
|||
** (AG) Fin de mise en place de BDD spécifique, Début d'automatisation du lancement |
|||
** (HF) Recherches sur les hyper-paramètres, intégration du préprocessing au serveur, tentative de mise ne place d'adresse non dynamique pour le serveur |
|||
** (AA) Continuer le préprocessing pour en changer le format et le compléter |
|||
** (RG) Documentation du code et travail sur l'apprentissage |
|||
* ''Difficultés rencontrées'' |
|||
** (QF) Erreur de lecture (indices des tableaux en python) |
|||
** (HF) OIP qui ne marche pas et problèmes d'encodage |
|||
** (AA) Panne machine |
|||
** (RG) Installation de python et tensorflow cassées |
|||
* ''Ce qui est à faire'' |
|||
** (RG) Corriger l'installation et commenter |
|||
** (QF) Correction de bugs |
|||
** (AG) Automatiqation tests SonarQube |
|||
** (HF) Serveur |
|||
** (AA, HF) Correction encodage preprocessing, Préprocessing depuis la BDD |
|||
=== Daily 02/03 === |
|||
'''Présents''' : Alicia, Antoine, Héloïse, Romane |
|||
* ''Ce qui a été fait'' |
|||
** (AG) Mettre en place les tests unitaires automatiquement avec Travis et couverture de code avec SonarQube |
|||
** (RG) Réparation des installations sur son PC, commenter le code |
|||
** (HF, AA) Enregistrement des offres prétraitées dans la BDD |
|||
* ''Difficultés rencontrées'' |
|||
** (HF) A tout cassé l'installation du serveur |
|||
* ''Ce qui est à faire'' |
|||
** (HF, AA) Finir la préparation de la base d'apprentissage |
|||
** (AG) Finir l’automatisation des tests. Faire de la review et du test |
|||
** (AA, AG) Extraction du texte des pdf |
|||
** (RG) Commenter du code, Créer et entraîner la base d'apprentissage |
|||
== Sprint 4 == |
|||
=== Sprint Planning 05/03 === |
|||
*''Ce qui a été fini'' |
|||
** US21 : Préparer la base d'apprentissage |
|||
** US47 : Tests unitaires |
|||
** US49 : Automatiser les tests unitaires |
|||
*''Ce qui a été reporté'' |
|||
** US19 : Pré-traiter les offres (en Test) |
|||
** US20 : Créer et entrainer les réseaux de neurones sur la base d'apprentissage |
|||
** US22 : Déployer la back-end sur un/des serveur(s) |
|||
** US23 : Déployer la base de donnée sur un/des serveur(s) |
|||
** US45 : Définir et implémenter les méthodes de l'API |
|||
*'' Choix des user-stories pour le sprint 4'' |
|||
** US17 : Calculer la formation correspondant à une offre |
|||
** US24 : Etablir la communication API/Front |
|||
** US25 : Proposer de donner un feed-back sur une prédiction |
|||
** US27 : Afficher la description détaillé d'une formation |
|||
** US28 : Permettre la supression d'une formation |
|||
** US29 : Permettre d'ajouter une formation |
|||
** US30 : Permettre l'ajout de données à la base d'apprentissage |
|||
** US31 : Permettre la supression d'une offre |
|||
** US32 : Permettre la consultation des offres enregistrées |
|||
** US33 : Permettre de se connecter |
|||
** US34 : Création d'un compte |
|||
** US35 : Permettre de consulter les formations correspondant à une offre |
|||
** US36 : Permettre d'entrer une offre |
|||
** US48 : Faire les services de droit d'authentification |
|||
** US51 : Rajouter les pop-up de danger lors des supressions |
|||
** US52 : Changer les couleurs du front |
|||
=== Daily 06/03 === |
|||
''Présents'' : Alicia, Antoine, Cécile, Héloïse, Romane |
|||
*''Ce qui a été fait'' |
|||
** (HF, AA) Debugging et travail connexion back-front |
|||
** (RG,QF) Debugging et mise en forme du code |
|||
** (AG) Tests unitaires du prétraitement et de l'API (dbManager) |
|||
** (QF) Modification de code pour le stockage du modele |
|||
*''Difficultés rencontrées'' |
|||
** (RG) Problème d'arborescence sur son PC |
|||
*''Ce que nous allons faire'' |
|||
** (QF) test de la fonction dans eval.py |
|||
** (HF) Système de connexion front-end (et éventuellement entrer les offres) |
|||
** (AG) Mise en forme du fichier Pstage et récupération de données puis soutient front-end |
|||
** (RG) Continuer la récupération des données pour l'apprentissage dans la BD et mise en forme du code en fonction. |
|||
** (AA) Front-End : Ajout/Suppression d'une formation et suppression d'une offre. |
|||
=== Daily 07/03 === |
|||
''Présents'' : Alicia, Antoine, Cécile, Héloïse, Romane |
|||
*''Ce qui a été fait'' |
|||
** (RG) Repris le code train pour le mettre sous forme de fonction pour qu'il puisse être appelé. Accès à la BDD. |
|||
** (QF) Testé eval et crée une route pour générer des prédictions. PAs encore testé. |
|||
** (AG) Mise en forme des données et modification de la fonction init |
|||
** (HF) Fait la connexion (back et front). Préparé pour les prédictions. Tenté de déployer le front. |
|||
** (AA) Fait la récupération des formations AVEC les contacts (front et back) |
|||
*''Difficultés rencontrées'' |
|||
** (HF) N'as pas ouvert le port qu'il faut sur sa box. |
|||
*''Ce que nous allons faire'' |
|||
** (HF, AA) Review de code et implem front-end |
|||
** (RG) Fonctions statistiques |
|||
** (AG) Recherches pour les lancement de l'apprentissage à heure fixe dans la nuit |
|||
** (QF) Tester les fonctions de prediction et routes + W2V avec le voc français de Google. |
|||
=== Daily 08/03 === |
|||
''Présents'' : Alicia, Antoine, Cécile, Héloïse, Romane |
|||
*''Ce qui a été fait'' |
|||
** (RG) Finit l'eval, rechangé le nombre de classes en train, revue code de Cécile, fonctions dans routes. |
|||
** (QF) Review code de Romane, téléchargement d'un modèle de prétraitement. |
|||
** (AG) Vu comment relancer le serveur toutes les nuits. |
|||
** (HF) Continué le lien back-front, corrigé le serveur (Jenkins), installation de TensorFlow. |
|||
** (AA) Continué le front pour l'admin. |
|||
*''Difficultés rencontrées'' |
|||
** RAS |
|||
*''Ce que nous allons faire'' |
|||
** (QF) Preprocessing avec le voc français |
|||
** (AA, RG) Fonctions de recherche d'offre, d'upload de fichiers |
|||
** (HF) Correction de code et prédiction dans le front, paramètres du compte |
|||
** (AG) Traitement des données |
|||
=== Daily 09/03 === |
|||
''Présents'' : Alicia, Antoine, Cécile, Héloïse, Romane |
|||
*''Ce qui a été fait'' |
|||
** (RG) Méthodes delete propres |
|||
** (RG, AA) Travail pour la pagination des offres |
|||
** (QF) Ajout du modèle français de Word2Vect |
|||
** (AG) Mise en forme des offres reçues par Disrupt Campus |
|||
** (HF) Changé les couleurs du site, travail sur les prédictions |
|||
*''Difficultés rencontrées'' |
|||
** (QF) Chargement long du modèle (~1h) |
|||
** (RG) Installations pour le front qui ne marchent pas |
|||
** (HF) Erreur 500 sur le back-end pour la prédiction |
|||
*''Ce que nous allons faire'' |
|||
** Revoir la charte graphique |
|||
** (AG) Tests API |
|||
** (AA) Tests unitaire de preprocessing |
|||
** (QF) Résolution du flag |
|||
** (HF) Pages de paramètres et pop-up |
|||
** (RG, AA) Fonction de recherche et pagination |
|||
=== Sprint Review 09/03 === |
|||
''Présents'' : Alicia, Antoine, Cécile, Héloïse, Romane |
|||
*''Ce qui a été fini'' |
|||
** Le site est fini (à quelques validations de fomrulaires et pop-up près). |
|||
* Reste à faire |
|||
** Tests et documentation |
|||
== Sprint 5 == |
|||
=== Sprint Planning 12/03 === |
|||
*''Ce qui a été fini'' |
|||
** US19 : Pré-traiter les offres (en Test) |
|||
** US20 : Créer et entrainer les réseaux de neurones sur la base d'apprentissage |
|||
** US23 : Déployer la base de donnée sur un/des serveur(s) |
|||
** US24 : Etablir la communication API/Front |
|||
** US52 : Changer les couleurs du front |
|||
*''Ce qui a été reporté'' |
|||
** '''Review''' |
|||
** US17 : Calculer la formation correspondant à une offre |
|||
** US22 : Déployer la back-end sur un/des serveur(s) |
|||
** US45 : Définir et implémenter les méthodes de l'API |
|||
** '''Test''' |
|||
** US25 : Proposer de donner un feed-back sur une prédiction |
|||
** US27 : Afficher la description détaillé d'une formation |
|||
** US28 : Permettre la supression d'une formation |
|||
** US29 : Permettre d'ajouter une formation |
|||
** US30 : Permettre l'ajout de données à la base d'apprentissage |
|||
** US31 : Permettre la supression d'une offre |
|||
** US32 : Permettre la consultation des offres enregistrées |
|||
** US33 : Permettre de se connecter |
|||
** US34 : Création d'un compte |
|||
** US35 : Permettre de consulter les formations correspondant à une offre |
|||
** US36 : Permettre d'entrer une offre |
|||
** US48 : Faire les services de droit d'authentification |
|||
** US51 : Rajouter les pop-up de danger lors des supressions |
|||
*'' Choix des user-stories pour le sprint 4'' |
|||
=== Daily 13/03 === |
|||
''Présents'' : Alicia, Antoine, Cécile, Héloïse, Romane |
|||
*''Ce qui a été fait'' |
|||
** (HF) Corrections dans le front (sauvegarde de données dans un service), travaillé sur le serveur (lancement automatique, scripts) |
|||
** (AA) Correction erreur dans le front (màj contacts) et recherche par filière dans les données admin, page admin abandonnées |
|||
** (QF) Rédaction test utilisateur, et documentation W2V et TensorFlow |
|||
** (AG) Prétraitement en utilisant moins de RAM, Correction csv |
|||
** (RG) Document routes |
|||
*''Difficultés rencontrées'' |
|||
** RAS |
|||
*''Ce que nous allons faire'' |
|||
** (AA) Affichage accuracy |
|||
** (RG, AG) Tests du front en boite noire |
|||
** (QF) Doc et scénarios |
|||
** (AG) Doc |
|||
** (HF) Commencer les diapos, correction des beugs |
|||
** (RG) Script pour tester plusieurs hyper-paramètres |
|||
=== Daily 14/03 === |
|||
''Présents'' : Alicia, Antoine, Cécile, Héloïse, Romane |
|||
*''Ce qui a été fait'' |
|||
** (RG) Tests et le programme pour tester les hyper paramètres |
|||
** (AG) Tests et ajout des offres reçues en dernière minute. Terminé l'utilisation de moins de RAM pour le prétraitement |
|||
** (QF) Rédaction de la documentation de Deep Learning. Exploration du code pour essayer de voir pourquoi on a toujours la même prédiction. |
|||
** (AA) Rédaction des cénarios de test, corrigé des beugs remonté, rajouté la page de stats. |
|||
** (HF) Fini ma doc, fais mes slides, corrigé les beugs remontés. |
|||
*''Difficultés rencontrées'' |
|||
** RAS |
|||
*''Ce que nous allons faire'' |
|||
** (AG) Doc et slides |
|||
** (RG) Hyper paramètres, correction doc cécile, rechercher pourquoi toujours même prédiction, slides. |
|||
** (QF) Diapos, rechercher pourquoi toujours même prédiction. |
|||
** (HF, AA) Diapos et alertes front |
|||
=Autres réunions= |
=Autres réunions= |
||
Line 168: | Line 522: | ||
** Discussion sur la récupération des données |
** Discussion sur la récupération des données |
||
** Mise en garde sur l'ontologie (mots de même sens mais exprimés différemment) pour la constructions de nos descripteurs de fichiers |
** Mise en garde sur l'ontologie (mots de même sens mais exprimés différemment) pour la constructions de nos descripteurs de fichiers |
||
===Soutenance de mi-parcours 14/02=== |
|||
'''Présents''': Didier Donsez, Bernard Tourancheau, Alicia, Antoine, Cécile, Héloïse, Romane |
|||
* [[Media:RICM5_2017_2018_DeepLearning_mi-parcours.pdf|Slides]] |
|||
*''Points abordés'' |
|||
** Notre avancement |
|||
** Notre planning |
|||
** Remarques sur la présentation de notre avancement |
|||
*''Remarques'' |
|||
** Utilisation de Swagger ? |
|||
==Réunions avec Disrupt' Campus== |
==Réunions avec Disrupt' Campus== |
||
Line 182: | Line 550: | ||
** Livrer le SRS : Vendredi 02/02 à 17h |
** Livrer le SRS : Vendredi 02/02 à 17h |
||
** Livrer le product back-log : Lundi 05/02 à 14h |
** Livrer le product back-log : Lundi 05/02 à 14h |
||
===Réunion du 14/02=== |
|||
'''Présents''': Gérard Pollier, Lucas Bisognin, Alicia, Antoine, Cécile, Héloïse, Romane |
|||
*''Points abordés'' |
|||
** Collecte des données |
|||
*** Ce que nous avons |
|||
*** Les actions pour avoir plus de données |
|||
**** IAE |
|||
**** INP |
|||
**** DLST |
|||
**** GEM |
|||
*** Les types de données nécessaires |
|||
** Avancement du projet |
|||
*** Front-End |
|||
*** Conception IHM |
|||
*** Gestion de projet |
|||
*''Actions'' |
|||
** Contacter les responsables de filières pour les données (Disrupt campus) |
|||
** Envoyer le format de données (AA) Aujourd'hui |
|||
** Penser à relancer les clients/profs |
|||
** Demander les notes des stages (AA) |
|||
==Présentations de Veille Techno== |
==Présentations de Veille Techno== |
||
Line 201: | Line 593: | ||
*** Calcule des règles logiques à partir de la base d'apprentissage |
*** Calcule des règles logiques à partir de la base d'apprentissage |
||
*** Prédiction plus rapide par la suite |
*** Prédiction plus rapide par la suite |
||
** [[Media:Algo_Recomm.pdf|Slides]] |
** QF : Présentation [[Media:Algo_Recomm.pdf|Slides]] |
||
** Choix d'utiliser la méthode Association Rule-based |
** Choix d'utiliser la méthode Association Rule-based |
Latest revision as of 08:04, 14 March 2018
Réunions de Sprints
Sprint 0
Daily Vendredi 02/02
Présents : Alicia, Antoine, Qianqian, Héloïse en chat vocal
- Ce qui a été fait
- SRS : Quasi fini, il reste la structure de l'application à détailler (dépends de l'UML)
- UML : a revoir et valider
- Recherches technos : Finies, à approfondir pour le réseau de neurones
- Difficultés rencontrées
- Risque au niveau des données (récupération et traitement) car nous n'avons commencé la partie de conception
- Actions
- Aujourd'hui 17h Rendu du SRS (Alicia)
- Aujourd'hui Finir l'IHM abstraite (Alicia)
- Aujourd'hui Commencer le back-log (Tous)
- 05/02 Présentation des résultats de recherche (QianQian)
- 05/02 Finir le back-log (Tous)
Sprint 1
Sprint Planning 05/02
Présents : Alicia, Antoine, Héloïse, Romane, Qianqian
- Ce qui a été fait
- SRS
- UML
- IHM abstraite
- Gestion et mise en place du projet
- Difficultés rencontrées
- Projet un peu flou
- Appréhension au niveau de la récupération des données
- Choix des users stories pour le sprint 1
- US2 : Définir des formats de données
- US5 : Etude des modalités de documents et de texte brut
- US6 : Rechercher des données pertinentes
- US10 : Rédiger la charte graphique
- US37 : Concevoir la BDD
- US38 : Maquette IHM
- US39 : Trouver des données pour remplir notre BDD
- US40 : Créer architecture Back-End
- US41 : Créer architecture Front-End
- US42 : Présentation des algorithmes de recommandation
Daily 06/02
Présents : Alicia, Antoine, Héloïse, Romane, Qianqian
- Ce qui a été fait
- Recherche d'offre
- Pour PRI, RICM
- Piste pour les offre GGC
- Contact responsable stages UGA
- Conception BDD
- Charte graphique
- Logo à décider
- Début back-end
- Mise en place Flask
- Documentation
- Recherche d'offre
- Difficultés rencontrées
- RAS
- Tâches à effectuer
- RG : Back-end (autoformation), Conception des descripteurs
- AG : Back-end (autoformation, création répo git)
- HF : Maquettes IHM, Présentation des logos
- QF : Présentation des algos, Conception des descripteurs
- AA : Maquettes IHM, Début front-end si le temps
Daily 07/02
Présents : Alicia, Antoine, Héloïse, Romane, Qianqian
- Ce qui a été fait
- Recherches sur les formats de données à adopter et algorithmes des réseaux neuronaux
- Réunion de suivi avec DD
- Maquettes IHM et charte graphique finis
- Architecture Front-End démarrée
- Architecture Back-End mis en place avec Flask
- Tutoriel TensorFlow avec CodinGame : ici
- Difficultés
- Problème d’exécution du tutoriel TensorFlow
- Problèmes d'affichage des images
- Problème de json pour le back-end
- Difficultés à comprendre TensorFlow
- Tâches à effectuer
- US41 (HF,AA) : Front + routing + images
- US40 (AG) : Créer BDD
- US5 (RG,QF) : Continuer les recherches et faire des tutoriels
Daily 08/02
Présents : Alicia, Antoine, Héloïse, Romane, Qianqian
- Ce qui a été fait
- Tutoriel pour le pré-traitement en python (RG)
- Tutoriel Tensorflow (QF)
- Squelette du site web (AA,HF)
- Création de la base de donnée (python --> vers la BDD) (AG)
- Difficultés
- Téléchargement des données pour le tutoriel TensorFlow (QF)
- Problèmes de css pour la navbar (en utilisant des ngIf) (AA)
- Tâches à effectuer
- US41 (HF,AA) : Front + routing + navbar
- US40 (AG) : Continuer de créer BDD
- US5 (RG,QF) : Continuer les recherches et faire des tutoriels
Daily 09/02
Présents : Alicia, Antoine, Héloïse, Romane, Qianqian
- Ce qui a été fait
- Fin du tutoriel pour transformer des documents en vecteurs (QF)
- Fin de mise en place de l'archi de la BDD et création des routes pour accéder aux données (AG)
- Continuer le tutoriel de transformation de docs en vecteurs (RG)
- Envoi de mail (AA)
- Continuer le squelette du front-end (AA, HF)
- Difficultés
- Lire un caractère dans le terminal en python (RG)
- Tâches à effectuer
- Tutoriel pour l'apprentissage (QF)
- Documentation des routes (AG)
- Faire une documentation de description des descripteurs (QF, RG)
- Popup connexion + regler problème bouton + tutoriel Angular + formation (HF)
- Pages admin (stats, données, formations) (AA)
Sprint Review 09/02
- Démo de la version 0 de l'application web :
- Demo v0 du back-end
- Demo v0 du font-end : Non terminé bug encore présents non connecté avec le back-end.
- Deep-learning en trois étapes
- Texte to vectors : réalisé
- CNN
- Prédiction avec réseaux hyper-connecté
- Rétrospective du sprint :
- User Story non terminée car ajout de sous-taches au cours du sprint.
- Le chef y rage parce ça marche pas et qu'elle veux écrire du code!!!!
- Problème d'installation de la clé
Sprint 2
Sprint Planning 12/02
Présents : Alicia, Antoine, Héloïse, Romane, Qianqian
- Ce qui a été fait
- US2 : Définir des formats de données
- US5 : Etude des modalités de documents et de texte brut
- US6 : Rechercher des données pertinentes
- US10 : Rédiger la charte graphique
- US37 : Concevoir la BDD
- US38 : Maquette IHM
- US39 : Trouver des données pour remplir notre BDD
- US40 : Créer architecture Back-End
- US42 : Présentation des algorithmes de recommandation
- Choix des users stories pour le sprint 2
- US41 : Créer architecture Front-End (continuer)
- US4 : Mettre en place SonarQube
- US19 : Pré-traiter les offres
- US21 : Préparer la base d'apprentissage
- US43 : Choisir l'hébergeur
- US44 : Comparaison TensorFlow cloud et TensorFlow en local
- US45 : Définir les méthodes de l'API
- US46 : Préparer la soutenance mi-parcours
- US47 : Tests unitaires
Daily 13/02
Présents : Alicia, Antoine, Héloïse, Romane, Qianqian
- Ce qui a été fait
- Installations pour faire tourner le back, mise en forme du Excel de la base d'apprentissage (RG)
- Continuer le Front-End
- Lien offre-formation via des services (HF)
- Page Admin données + logique derrière (AA)
- Commencer la mise en place de SonarQube (AG)
- Prétraitement des offres (QF)
- Mettre en forme les offres (Taille fixe)
- Difficultés
- Utilisation de service pour la logique du Front-End (AA)
- Tâches à effectuer
- Automatiser les runs SonarQube (AG)
- Lancer la construction des descripteurs des offres (Word2Vector) (QF)
- Voir M. Besacier (tous)
- Compléter l'implémentation des méthodes de l'API (RG)
- Continuer le Front-End
- Logique de connexion (HF)
- Utiliser les services + Page formations de l'admin (AA)
Daily 14/02
Présents : Alicia, Antoine, Héloïse, Romane, Qianqian
- Ce qui a été fait
- Rajouter des méthodes dans le Back-End (RG)
- Front-End
- Finir des pages et commencer le service de connexion (HF)
- Finir les pages admin et modification de la page mes offre (AA)
- Finit le pré-traitement des offres, débuter le traitement de la base d'apprentissage (QF)
- Terminer la mise en place de SonarQube automatisée, commencer recherche pour tests-unitaires (AG)
- Difficultés
- Définir la manière de donner la même taille à tout les textes (QF)
- Tâches à effectuer
- Front-End : Finir le service de connexion (HF)
- Recherches test-unitaires et mise en place (AG)
- Back-End: continuer l'implémentation des méthodes (RG)
- Traitement de la base d'apprentissage (QF)
- Installer la clé Intel Movidius (AA)
- Comparaison TensorFlow cloud et en local (AA)
Daily 16/02
Présents : Alicia, Antoine, Héloïse, Romane, Qianqian
- Ce qui a été fait
- Review du back-end : changer les noms de la BDD (RG)
- Finir l'architecture du front (HF)
- Finir la rédaction du code de pré-traitement des offres (QF)
- Recherches Tests unitaires et mise en place (AG)
- Installer le logiciel pour la clef (AA)
- Tutoriel TensorFlow CNN (AA)
- Difficultés
- Changer les noms a tout cassé (RG)
- Tâches à effectuer
- Tests unitaires et documentation du code (QF, AG)
- Sélectionner un hébergeur (HF)
- Tutoriel/Doc TensorFlow (AA, HF)
- Installer la clé (AA)
- Corriger le back-end (RG)
Sprint Review 16/02
- Ce qui a été fait
- Archi Back & Front terminées :D
- Clé installée
- Rétrospective du sprint
- On avait prévus moins que ce que l'on pouvait faire donc on en a rajouté en route
- Implémentation non terminée des requêtes back mais ce n'est pas grave
- Tests unitaires = grosse charge mais une seule personne dessus et des problèmes
- Une tache encore en test mais c'est normal du a la mise en place difficile des test unitaires.
Le prochain sprint va être clé !
Sprint 3
Sprint Planning 26/02
Présents : Alicia, Antoine, Héloïse, Romane, Qianqian
- Ce qui a été fait
- US4 : Mettre en place SonarQube
- US41 : Créer architecture Front-End
- US43 : Choisir l'hébergeur
- US44 : Comparaison TensorFlow cloud et TensorFlow en local
- US46 : Préparer la soutenance mi-parcours
- Ce qui a été reporté
- US19 : Pré-traiter les offres (en Test)
- US21 : Préparer la base d'apprentissage (en implémentation)
- US45 : Définir et implémenter
- US47 : Tests unitaires
- Choix des users stories pour le sprint 3
- US20 : Créer et entrainer les réseaux de neurones sur la base d'apprentissage
- US22 : Déployer la back-end sur un/des serveur(s)
- US23 : Déployer la base de donnée sur un/des serveur(s)
- US49 : Automatiser les tests unitaires
Daily 27/02
Présents : Alicia, Antoine, Héloïse, Romane, Qianqian
- Ce qui a été fait
- US45
- (HF) : Connexion, déconnexion et inscription
- (RG) : Fonction pour ajouter des équipes dans la BDD, test de fonctions, ajout de fonction pour récupérer les formations associées à une offre
- US20
- (QF) : Etudier le projet de l'année dernière pour la prédiction (ils utilisent RNN)
- (AA) : Installation de TensorFlow
- US47 (AG) Travail sur la BDD pour les tests unitaires
- US45
- Difficultés rencontrées
- (HF) Hachage du password, déconnexion (màj du booléen)
- (AA) Installation de Cuda sans succès
- Ce qui est à faire
- (HF) : Continuer les fonctions de connexion/déconnexion sur le back-end. Recherches pour la mise en place de Jenkins pour le serveur
- (QF) : Continuer le tutoriel pour l'apprentissage multiclasses
- (RG) : Continuer les fonctions dans le back-end (API)
- (AG) : Conitnuer sur les test unitaires (création de la BDD)
- (AA) : Recherche pour la prédiction multiclasses avec nombre de classes non fixé. Tutoriel TensorFlow CNN.
Daily 28/02
Présents : Alicia, Antoine, Héloïse, Romane, Qianqian
- Ce qui a été fait
- (AG) Tests unitaires on avance dans la mise en place de BDD spécifique aux tests unitaires
- (RG) Finir l'implémentation des méthodes de l'API
- (QF) Continuer les recherches : Trouvé un tutoriel avec Word2Vec, CNN, multiclasses
- (HF) Transféré les fonctions de connexion, inscription, déconnexion à partir du projet de l'année dernière et installation d'Apache sur la machine serveur
- (AA) Complété le pré-traitement des offres
- Difficultés rencontrées
- RAS
- Ce qui est à faire
- Réunion pour déterminer ce que nous allons implémenter pour l'apprentissage et la prédiction de formations (en utilisant CNN)
- Réunion tests unitaires
- (HF et RG) Review de code
- Implémentation de CNN
Daily 01/03
Présents : Alicia, Antoine, Héloïse, Qianqian, Romane (retard)
- Ce qui a été fait
- (QF) Commencé l'algorithme d'apprentissage
- (AG) Fin de mise en place de BDD spécifique, Début d'automatisation du lancement
- (HF) Recherches sur les hyper-paramètres, intégration du préprocessing au serveur, tentative de mise ne place d'adresse non dynamique pour le serveur
- (AA) Continuer le préprocessing pour en changer le format et le compléter
- (RG) Documentation du code et travail sur l'apprentissage
- Difficultés rencontrées
- (QF) Erreur de lecture (indices des tableaux en python)
- (HF) OIP qui ne marche pas et problèmes d'encodage
- (AA) Panne machine
- (RG) Installation de python et tensorflow cassées
- Ce qui est à faire
- (RG) Corriger l'installation et commenter
- (QF) Correction de bugs
- (AG) Automatiqation tests SonarQube
- (HF) Serveur
- (AA, HF) Correction encodage preprocessing, Préprocessing depuis la BDD
Daily 02/03
Présents : Alicia, Antoine, Héloïse, Romane
- Ce qui a été fait
- (AG) Mettre en place les tests unitaires automatiquement avec Travis et couverture de code avec SonarQube
- (RG) Réparation des installations sur son PC, commenter le code
- (HF, AA) Enregistrement des offres prétraitées dans la BDD
- Difficultés rencontrées
- (HF) A tout cassé l'installation du serveur
- Ce qui est à faire
- (HF, AA) Finir la préparation de la base d'apprentissage
- (AG) Finir l’automatisation des tests. Faire de la review et du test
- (AA, AG) Extraction du texte des pdf
- (RG) Commenter du code, Créer et entraîner la base d'apprentissage
Sprint 4
Sprint Planning 05/03
- Ce qui a été fini
- US21 : Préparer la base d'apprentissage
- US47 : Tests unitaires
- US49 : Automatiser les tests unitaires
- Ce qui a été reporté
- US19 : Pré-traiter les offres (en Test)
- US20 : Créer et entrainer les réseaux de neurones sur la base d'apprentissage
- US22 : Déployer la back-end sur un/des serveur(s)
- US23 : Déployer la base de donnée sur un/des serveur(s)
- US45 : Définir et implémenter les méthodes de l'API
- Choix des user-stories pour le sprint 4
- US17 : Calculer la formation correspondant à une offre
- US24 : Etablir la communication API/Front
- US25 : Proposer de donner un feed-back sur une prédiction
- US27 : Afficher la description détaillé d'une formation
- US28 : Permettre la supression d'une formation
- US29 : Permettre d'ajouter une formation
- US30 : Permettre l'ajout de données à la base d'apprentissage
- US31 : Permettre la supression d'une offre
- US32 : Permettre la consultation des offres enregistrées
- US33 : Permettre de se connecter
- US34 : Création d'un compte
- US35 : Permettre de consulter les formations correspondant à une offre
- US36 : Permettre d'entrer une offre
- US48 : Faire les services de droit d'authentification
- US51 : Rajouter les pop-up de danger lors des supressions
- US52 : Changer les couleurs du front
Daily 06/03
Présents : Alicia, Antoine, Cécile, Héloïse, Romane
- Ce qui a été fait
- (HF, AA) Debugging et travail connexion back-front
- (RG,QF) Debugging et mise en forme du code
- (AG) Tests unitaires du prétraitement et de l'API (dbManager)
- (QF) Modification de code pour le stockage du modele
- Difficultés rencontrées
- (RG) Problème d'arborescence sur son PC
- Ce que nous allons faire
- (QF) test de la fonction dans eval.py
- (HF) Système de connexion front-end (et éventuellement entrer les offres)
- (AG) Mise en forme du fichier Pstage et récupération de données puis soutient front-end
- (RG) Continuer la récupération des données pour l'apprentissage dans la BD et mise en forme du code en fonction.
- (AA) Front-End : Ajout/Suppression d'une formation et suppression d'une offre.
Daily 07/03
Présents : Alicia, Antoine, Cécile, Héloïse, Romane
- Ce qui a été fait
- (RG) Repris le code train pour le mettre sous forme de fonction pour qu'il puisse être appelé. Accès à la BDD.
- (QF) Testé eval et crée une route pour générer des prédictions. PAs encore testé.
- (AG) Mise en forme des données et modification de la fonction init
- (HF) Fait la connexion (back et front). Préparé pour les prédictions. Tenté de déployer le front.
- (AA) Fait la récupération des formations AVEC les contacts (front et back)
- Difficultés rencontrées
- (HF) N'as pas ouvert le port qu'il faut sur sa box.
- Ce que nous allons faire
- (HF, AA) Review de code et implem front-end
- (RG) Fonctions statistiques
- (AG) Recherches pour les lancement de l'apprentissage à heure fixe dans la nuit
- (QF) Tester les fonctions de prediction et routes + W2V avec le voc français de Google.
Daily 08/03
Présents : Alicia, Antoine, Cécile, Héloïse, Romane
- Ce qui a été fait
- (RG) Finit l'eval, rechangé le nombre de classes en train, revue code de Cécile, fonctions dans routes.
- (QF) Review code de Romane, téléchargement d'un modèle de prétraitement.
- (AG) Vu comment relancer le serveur toutes les nuits.
- (HF) Continué le lien back-front, corrigé le serveur (Jenkins), installation de TensorFlow.
- (AA) Continué le front pour l'admin.
- Difficultés rencontrées
- RAS
- Ce que nous allons faire
- (QF) Preprocessing avec le voc français
- (AA, RG) Fonctions de recherche d'offre, d'upload de fichiers
- (HF) Correction de code et prédiction dans le front, paramètres du compte
- (AG) Traitement des données
Daily 09/03
Présents : Alicia, Antoine, Cécile, Héloïse, Romane
- Ce qui a été fait
- (RG) Méthodes delete propres
- (RG, AA) Travail pour la pagination des offres
- (QF) Ajout du modèle français de Word2Vect
- (AG) Mise en forme des offres reçues par Disrupt Campus
- (HF) Changé les couleurs du site, travail sur les prédictions
- Difficultés rencontrées
- (QF) Chargement long du modèle (~1h)
- (RG) Installations pour le front qui ne marchent pas
- (HF) Erreur 500 sur le back-end pour la prédiction
- Ce que nous allons faire
- Revoir la charte graphique
- (AG) Tests API
- (AA) Tests unitaire de preprocessing
- (QF) Résolution du flag
- (HF) Pages de paramètres et pop-up
- (RG, AA) Fonction de recherche et pagination
Sprint Review 09/03
Présents : Alicia, Antoine, Cécile, Héloïse, Romane
- Ce qui a été fini
- Le site est fini (à quelques validations de fomrulaires et pop-up près).
- Reste à faire
- Tests et documentation
Sprint 5
Sprint Planning 12/03
- Ce qui a été fini
- US19 : Pré-traiter les offres (en Test)
- US20 : Créer et entrainer les réseaux de neurones sur la base d'apprentissage
- US23 : Déployer la base de donnée sur un/des serveur(s)
- US24 : Etablir la communication API/Front
- US52 : Changer les couleurs du front
- Ce qui a été reporté
- Review
- US17 : Calculer la formation correspondant à une offre
- US22 : Déployer la back-end sur un/des serveur(s)
- US45 : Définir et implémenter les méthodes de l'API
- Test
- US25 : Proposer de donner un feed-back sur une prédiction
- US27 : Afficher la description détaillé d'une formation
- US28 : Permettre la supression d'une formation
- US29 : Permettre d'ajouter une formation
- US30 : Permettre l'ajout de données à la base d'apprentissage
- US31 : Permettre la supression d'une offre
- US32 : Permettre la consultation des offres enregistrées
- US33 : Permettre de se connecter
- US34 : Création d'un compte
- US35 : Permettre de consulter les formations correspondant à une offre
- US36 : Permettre d'entrer une offre
- US48 : Faire les services de droit d'authentification
- US51 : Rajouter les pop-up de danger lors des supressions
- Choix des user-stories pour le sprint 4
Daily 13/03
Présents : Alicia, Antoine, Cécile, Héloïse, Romane
- Ce qui a été fait
- (HF) Corrections dans le front (sauvegarde de données dans un service), travaillé sur le serveur (lancement automatique, scripts)
- (AA) Correction erreur dans le front (màj contacts) et recherche par filière dans les données admin, page admin abandonnées
- (QF) Rédaction test utilisateur, et documentation W2V et TensorFlow
- (AG) Prétraitement en utilisant moins de RAM, Correction csv
- (RG) Document routes
- Difficultés rencontrées
- RAS
- Ce que nous allons faire
- (AA) Affichage accuracy
- (RG, AG) Tests du front en boite noire
- (QF) Doc et scénarios
- (AG) Doc
- (HF) Commencer les diapos, correction des beugs
- (RG) Script pour tester plusieurs hyper-paramètres
Daily 14/03
Présents : Alicia, Antoine, Cécile, Héloïse, Romane
- Ce qui a été fait
- (RG) Tests et le programme pour tester les hyper paramètres
- (AG) Tests et ajout des offres reçues en dernière minute. Terminé l'utilisation de moins de RAM pour le prétraitement
- (QF) Rédaction de la documentation de Deep Learning. Exploration du code pour essayer de voir pourquoi on a toujours la même prédiction.
- (AA) Rédaction des cénarios de test, corrigé des beugs remonté, rajouté la page de stats.
- (HF) Fini ma doc, fais mes slides, corrigé les beugs remontés.
- Difficultés rencontrées
- RAS
- Ce que nous allons faire
- (AG) Doc et slides
- (RG) Hyper paramètres, correction doc cécile, rechercher pourquoi toujours même prédiction, slides.
- (QF) Diapos, rechercher pourquoi toujours même prédiction.
- (HF, AA) Diapos et alertes front
Autres réunions
Réunions de suivi
Réunion Skype du 06/02
Présents: Didier Donsez, Alicia, Antoine, Cécile, Héloïse, Romane
- Points Abordés
- Avancement du projet et tâches effectuées
- Discussion sur la récupération des données
- Mise en garde sur l'ontologie (mots de même sens mais exprimés différemment) pour la constructions de nos descripteurs de fichiers
Soutenance de mi-parcours 14/02
Présents: Didier Donsez, Bernard Tourancheau, Alicia, Antoine, Cécile, Héloïse, Romane
- Points abordés
- Notre avancement
- Notre planning
- Remarques sur la présentation de notre avancement
- Remarques
- Utilisation de Swagger ?
Réunions avec Disrupt' Campus
Réunion du 30/01
Présents: Gérard Pollier, Lucas Bisognin, Alicia, Antoine, Cécile, Romane
- Points Abordés
- Présentation du projet Disrupt'Campus
- Conseils sur la gestion de projet
- Besoins pour le projet
- Associer une offre à plusieurs profils
- Apprentissage à partir des descriptions de compétences des formations
- Facilité d'utilisation de notre application
- Actions
- Livrer le SRS : Vendredi 02/02 à 17h
- Livrer le product back-log : Lundi 05/02 à 14h
Réunion du 14/02
Présents: Gérard Pollier, Lucas Bisognin, Alicia, Antoine, Cécile, Héloïse, Romane
- Points abordés
- Collecte des données
- Ce que nous avons
- Les actions pour avoir plus de données
- IAE
- INP
- DLST
- GEM
- Les types de données nécessaires
- Avancement du projet
- Front-End
- Conception IHM
- Gestion de projet
- Collecte des données
- Actions
- Contacter les responsables de filières pour les données (Disrupt campus)
- Envoyer le format de données (AA) Aujourd'hui
- Penser à relancer les clients/profs
- Demander les notes des stages (AA)
Présentations de Veille Techno
Réunion du 30/01 pour présentation de TensorFlow vs DeepLearning4j
Présents: Alicia, Antoine, Cécile, Romane
- Points Abordés
- Pertinence de TensorFlow, DeepLearning4j et PyTorch pour notre projet
- QF : Présentation Slides
- Choix de conserver TensorFlow, plus adapté aux projets d'innovation (plus grande communauté)
Réunion du 06/02 pour présentation des algorithmes de recommandation
Présents: Alicia, Antoine, Cécile, Héloïse, Romane
- Points Abordés
- Filtrage collaboratif
- Comparaison entre les offres et toutes celles de la base pour trouver la plus proche
- Similarité entre la formation de la plus proches et des autres pour prédire une solution
- Trop long à lancer pour nos exigences de performance
- Association Rule-based
- Calcule des règles logiques à partir de la base d'apprentissage
- Prédiction plus rapide par la suite
- QF : Présentation Slides
- Choix d'utiliser la méthode Association Rule-based
- Filtrage collaboratif