SmartRecruiting/Reunions: Difference between revisions

From air
Jump to navigation Jump to search
 
(27 intermediate revisions by 3 users not shown)
Line 159: Line 159:
** US46 : Préparer la soutenance mi-parcours
** US46 : Préparer la soutenance mi-parcours
** US47 : Tests unitaires
** US47 : Tests unitaires

=== Daily 13/02 ===
'''Présents''' : Alicia, Antoine, Héloïse, Romane, Qianqian

*''Ce qui a été fait''
** Installations pour faire tourner le back, mise en forme du Excel de la base d'apprentissage (RG)
** Continuer le Front-End
*** Lien offre-formation via des services (HF)
*** Page Admin données + logique derrière (AA)
** Commencer la mise en place de SonarQube (AG)
** Prétraitement des offres (QF)
*** Mettre en forme les offres (Taille fixe)

* ''Difficultés''
** Utilisation de service pour la logique du Front-End (AA)

* ''Tâches à effectuer''
** Automatiser les runs SonarQube (AG)
** Lancer la construction des descripteurs des offres (Word2Vector) (QF)
** Voir M. Besacier (tous)
** Compléter l'implémentation des méthodes de l'API (RG)
** Continuer le Front-End
*** Logique de connexion (HF)
*** Utiliser les services + Page formations de l'admin (AA)

=== Daily 14/02 ===
'''Présents''' : Alicia, Antoine, Héloïse, Romane, Qianqian

*''Ce qui a été fait''
** Rajouter des méthodes dans le Back-End (RG)
** Front-End
*** Finir des pages et commencer le service de connexion (HF)
*** Finir les pages admin et modification de la page mes offre (AA)
** Finit le pré-traitement des offres, débuter le traitement de la base d'apprentissage (QF)
** Terminer la mise en place de SonarQube automatisée, commencer recherche pour tests-unitaires (AG)

* ''Difficultés''
** Définir la manière de donner la même taille à tout les textes (QF)

* ''Tâches à effectuer''
** Front-End : Finir le service de connexion (HF)
** Recherches test-unitaires et mise en place (AG)
** Back-End: continuer l'implémentation des méthodes (RG)
** Traitement de la base d'apprentissage (QF)
** Installer la clé Intel Movidius (AA)
** Comparaison TensorFlow cloud et en local (AA)

=== Daily 16/02 ===
'''Présents''' : Alicia, Antoine, Héloïse, Romane, Qianqian

*''Ce qui a été fait''
** Review du back-end : changer les noms de la BDD (RG)
** Finir l'architecture du front (HF)
** Finir la rédaction du code de pré-traitement des offres (QF)
** Recherches Tests unitaires et mise en place (AG)
** Installer le logiciel pour la clef (AA)
** Tutoriel TensorFlow CNN (AA)
* ''Difficultés''
** Changer les noms a tout cassé (RG)

* ''Tâches à effectuer''
** Tests unitaires et documentation du code (QF, AG)
** Sélectionner un hébergeur (HF)
** Tutoriel/Doc TensorFlow (AA, HF)
** Installer la clé (AA)
** Corriger le back-end (RG)

=== Sprint Review 16/02 ===
* ''Ce qui a été fait''
** Archi Back & Front terminées :D
** Clé installée

* ''Rétrospective du sprint''
** On avait prévus moins que ce que l'on pouvait faire donc on en a rajouté en route
** Implémentation non terminée des requêtes back mais ce n'est pas grave
** Tests unitaires = grosse charge mais une seule personne dessus et des problèmes
** Une tache encore en test mais c'est normal du a la mise en place difficile des test unitaires.

'''Le prochain sprint va être clé !'''

==Sprint 3==
=== Sprint Planning 26/02 ===
'''Présents''' : Alicia, Antoine, Héloïse, Romane, Qianqian
* ''Ce qui a été fait''
** US4 : Mettre en place SonarQube
** US41 : Créer architecture Front-End
** US43 : Choisir l'hébergeur
** US44 : Comparaison TensorFlow cloud et TensorFlow en local
** US46 : Préparer la soutenance mi-parcours
* ''Ce qui a été reporté''
** US19 : Pré-traiter les offres (en Test)
** US21 : Préparer la base d'apprentissage (en implémentation)
** US45 : Définir et implémenter
** US47 : Tests unitaires
* ''Choix des users stories pour le sprint 3''
** US20 : Créer et entrainer les réseaux de neurones sur la base d'apprentissage
** US22 : Déployer la back-end sur un/des serveur(s)
** US23 : Déployer la base de donnée sur un/des serveur(s)
** US49 : Automatiser les tests unitaires

=== Daily 27/02 ===
'''Présents''' : Alicia, Antoine, Héloïse, Romane, Qianqian
* ''Ce qui a été fait''
** US45
*** (HF) : Connexion, déconnexion et inscription
*** (RG) : Fonction pour ajouter des équipes dans la BDD, test de fonctions, ajout de fonction pour récupérer les formations associées à une offre
** US20
*** (QF) : Etudier le projet de l'année dernière pour la prédiction (ils utilisent RNN)
*** (AA) : Installation de TensorFlow
** US47 (AG) Travail sur la BDD pour les tests unitaires
* ''Difficultés rencontrées''
** (HF) Hachage du password, déconnexion (màj du booléen)
** (AA) Installation de Cuda sans succès
* ''Ce qui est à faire''
** (HF) : Continuer les fonctions de connexion/déconnexion sur le back-end. Recherches pour la mise en place de Jenkins pour le serveur
** (QF) : Continuer le tutoriel pour l'apprentissage multiclasses
** (RG) : Continuer les fonctions dans le back-end (API)
** (AG) : Conitnuer sur les test unitaires (création de la BDD)
** (AA) : Recherche pour la prédiction multiclasses avec nombre de classes non fixé. Tutoriel TensorFlow CNN.

=== Daily 28/02 ===
'''Présents''' : Alicia, Antoine, Héloïse, Romane, Qianqian
* ''Ce qui a été fait''
** (AG) Tests unitaires on avance dans la mise en place de BDD spécifique aux tests unitaires
** (RG) Finir l'implémentation des méthodes de l'API
** (QF) Continuer les recherches : Trouvé un tutoriel avec Word2Vec, CNN, multiclasses
** (HF) Transféré les fonctions de connexion, inscription, déconnexion à partir du projet de l'année dernière et installation d'Apache sur la machine serveur
** (AA) Complété le pré-traitement des offres
* ''Difficultés rencontrées''
** RAS
* ''Ce qui est à faire''
** Réunion pour déterminer ce que nous allons implémenter pour l'apprentissage et la prédiction de formations (en utilisant CNN)
** Réunion tests unitaires
** (HF et RG) Review de code
** Implémentation de CNN

=== Daily 01/03 ===
'''Présents''' : Alicia, Antoine, Héloïse, Qianqian, Romane (retard)
* ''Ce qui a été fait''
** (QF) Commencé l'algorithme d'apprentissage
** (AG) Fin de mise en place de BDD spécifique, Début d'automatisation du lancement
** (HF) Recherches sur les hyper-paramètres, intégration du préprocessing au serveur, tentative de mise ne place d'adresse non dynamique pour le serveur
** (AA) Continuer le préprocessing pour en changer le format et le compléter
** (RG) Documentation du code et travail sur l'apprentissage
* ''Difficultés rencontrées''
** (QF) Erreur de lecture (indices des tableaux en python)
** (HF) OIP qui ne marche pas et problèmes d'encodage
** (AA) Panne machine
** (RG) Installation de python et tensorflow cassées
* ''Ce qui est à faire''
** (RG) Corriger l'installation et commenter
** (QF) Correction de bugs
** (AG) Automatiqation tests SonarQube
** (HF) Serveur
** (AA, HF) Correction encodage preprocessing, Préprocessing depuis la BDD

=== Daily 02/03 ===
'''Présents''' : Alicia, Antoine, Héloïse, Romane
* ''Ce qui a été fait''
** (AG) Mettre en place les tests unitaires automatiquement avec Travis et couverture de code avec SonarQube
** (RG) Réparation des installations sur son PC, commenter le code
** (HF, AA) Enregistrement des offres prétraitées dans la BDD
* ''Difficultés rencontrées''
** (HF) A tout cassé l'installation du serveur
* ''Ce qui est à faire''
** (HF, AA) Finir la préparation de la base d'apprentissage
** (AG) Finir l’automatisation des tests. Faire de la review et du test
** (AA, AG) Extraction du texte des pdf
** (RG) Commenter du code, Créer et entraîner la base d'apprentissage

== Sprint 4 ==
=== Sprint Planning 05/03 ===
*''Ce qui a été fini''
** US21 : Préparer la base d'apprentissage
** US47 : Tests unitaires
** US49 : Automatiser les tests unitaires
*''Ce qui a été reporté''
** US19 : Pré-traiter les offres (en Test)
** US20 : Créer et entrainer les réseaux de neurones sur la base d'apprentissage
** US22 : Déployer la back-end sur un/des serveur(s)
** US23 : Déployer la base de donnée sur un/des serveur(s)
** US45 : Définir et implémenter les méthodes de l'API
*'' Choix des user-stories pour le sprint 4''
** US17 : Calculer la formation correspondant à une offre
** US24 : Etablir la communication API/Front
** US25 : Proposer de donner un feed-back sur une prédiction
** US27 : Afficher la description détaillé d'une formation
** US28 : Permettre la supression d'une formation
** US29 : Permettre d'ajouter une formation
** US30 : Permettre l'ajout de données à la base d'apprentissage
** US31 : Permettre la supression d'une offre
** US32 : Permettre la consultation des offres enregistrées
** US33 : Permettre de se connecter
** US34 : Création d'un compte
** US35 : Permettre de consulter les formations correspondant à une offre
** US36 : Permettre d'entrer une offre
** US48 : Faire les services de droit d'authentification
** US51 : Rajouter les pop-up de danger lors des supressions
** US52 : Changer les couleurs du front

=== Daily 06/03 ===
''Présents'' : Alicia, Antoine, Cécile, Héloïse, Romane
*''Ce qui a été fait''
** (HF, AA) Debugging et travail connexion back-front
** (RG,QF) Debugging et mise en forme du code
** (AG) Tests unitaires du prétraitement et de l'API (dbManager)
** (QF) Modification de code pour le stockage du modele

*''Difficultés rencontrées''
** (RG) Problème d'arborescence sur son PC

*''Ce que nous allons faire''
** (QF) test de la fonction dans eval.py
** (HF) Système de connexion front-end (et éventuellement entrer les offres)
** (AG) Mise en forme du fichier Pstage et récupération de données puis soutient front-end
** (RG) Continuer la récupération des données pour l'apprentissage dans la BD et mise en forme du code en fonction.
** (AA) Front-End : Ajout/Suppression d'une formation et suppression d'une offre.

=== Daily 07/03 ===
''Présents'' : Alicia, Antoine, Cécile, Héloïse, Romane
*''Ce qui a été fait''
** (RG) Repris le code train pour le mettre sous forme de fonction pour qu'il puisse être appelé. Accès à la BDD.
** (QF) Testé eval et crée une route pour générer des prédictions. PAs encore testé.
** (AG) Mise en forme des données et modification de la fonction init
** (HF) Fait la connexion (back et front). Préparé pour les prédictions. Tenté de déployer le front.
** (AA) Fait la récupération des formations AVEC les contacts (front et back)

*''Difficultés rencontrées''
** (HF) N'as pas ouvert le port qu'il faut sur sa box.

*''Ce que nous allons faire''
** (HF, AA) Review de code et implem front-end
** (RG) Fonctions statistiques
** (AG) Recherches pour les lancement de l'apprentissage à heure fixe dans la nuit
** (QF) Tester les fonctions de prediction et routes + W2V avec le voc français de Google.

=== Daily 08/03 ===
''Présents'' : Alicia, Antoine, Cécile, Héloïse, Romane
*''Ce qui a été fait''
** (RG) Finit l'eval, rechangé le nombre de classes en train, revue code de Cécile, fonctions dans routes.
** (QF) Review code de Romane, téléchargement d'un modèle de prétraitement.
** (AG) Vu comment relancer le serveur toutes les nuits.
** (HF) Continué le lien back-front, corrigé le serveur (Jenkins), installation de TensorFlow.
** (AA) Continué le front pour l'admin.

*''Difficultés rencontrées''
** RAS

*''Ce que nous allons faire''
** (QF) Preprocessing avec le voc français
** (AA, RG) Fonctions de recherche d'offre, d'upload de fichiers
** (HF) Correction de code et prédiction dans le front, paramètres du compte
** (AG) Traitement des données

=== Daily 09/03 ===
''Présents'' : Alicia, Antoine, Cécile, Héloïse, Romane
*''Ce qui a été fait''
** (RG) Méthodes delete propres
** (RG, AA) Travail pour la pagination des offres
** (QF) Ajout du modèle français de Word2Vect
** (AG) Mise en forme des offres reçues par Disrupt Campus
** (HF) Changé les couleurs du site, travail sur les prédictions

*''Difficultés rencontrées''
** (QF) Chargement long du modèle (~1h)
** (RG) Installations pour le front qui ne marchent pas
** (HF) Erreur 500 sur le back-end pour la prédiction

*''Ce que nous allons faire''
** Revoir la charte graphique
** (AG) Tests API
** (AA) Tests unitaire de preprocessing
** (QF) Résolution du flag
** (HF) Pages de paramètres et pop-up
** (RG, AA) Fonction de recherche et pagination

=== Sprint Review 09/03 ===
''Présents'' : Alicia, Antoine, Cécile, Héloïse, Romane
*''Ce qui a été fini''
** Le site est fini (à quelques validations de fomrulaires et pop-up près).

* Reste à faire
** Tests et documentation

== Sprint 5 ==
=== Sprint Planning 12/03 ===
*''Ce qui a été fini''
** US19 : Pré-traiter les offres (en Test)
** US20 : Créer et entrainer les réseaux de neurones sur la base d'apprentissage
** US23 : Déployer la base de donnée sur un/des serveur(s)
** US24 : Etablir la communication API/Front
** US52 : Changer les couleurs du front

*''Ce qui a été reporté''
** '''Review'''
** US17 : Calculer la formation correspondant à une offre
** US22 : Déployer la back-end sur un/des serveur(s)
** US45 : Définir et implémenter les méthodes de l'API
** '''Test'''
** US25 : Proposer de donner un feed-back sur une prédiction
** US27 : Afficher la description détaillé d'une formation
** US28 : Permettre la supression d'une formation
** US29 : Permettre d'ajouter une formation
** US30 : Permettre l'ajout de données à la base d'apprentissage
** US31 : Permettre la supression d'une offre
** US32 : Permettre la consultation des offres enregistrées
** US33 : Permettre de se connecter
** US34 : Création d'un compte
** US35 : Permettre de consulter les formations correspondant à une offre
** US36 : Permettre d'entrer une offre
** US48 : Faire les services de droit d'authentification
** US51 : Rajouter les pop-up de danger lors des supressions

*'' Choix des user-stories pour le sprint 4''


=== Daily 13/03 ===
''Présents'' : Alicia, Antoine, Cécile, Héloïse, Romane
*''Ce qui a été fait''
** (HF) Corrections dans le front (sauvegarde de données dans un service), travaillé sur le serveur (lancement automatique, scripts)
** (AA) Correction erreur dans le front (màj contacts) et recherche par filière dans les données admin, page admin abandonnées
** (QF) Rédaction test utilisateur, et documentation W2V et TensorFlow
** (AG) Prétraitement en utilisant moins de RAM, Correction csv
** (RG) Document routes

*''Difficultés rencontrées''
** RAS

*''Ce que nous allons faire''
** (AA) Affichage accuracy
** (RG, AG) Tests du front en boite noire
** (QF) Doc et scénarios
** (AG) Doc
** (HF) Commencer les diapos, correction des beugs
** (RG) Script pour tester plusieurs hyper-paramètres

=== Daily 14/03 ===
''Présents'' : Alicia, Antoine, Cécile, Héloïse, Romane
*''Ce qui a été fait''
** (RG) Tests et le programme pour tester les hyper paramètres
** (AG) Tests et ajout des offres reçues en dernière minute. Terminé l'utilisation de moins de RAM pour le prétraitement
** (QF) Rédaction de la documentation de Deep Learning. Exploration du code pour essayer de voir pourquoi on a toujours la même prédiction.
** (AA) Rédaction des cénarios de test, corrigé des beugs remonté, rajouté la page de stats.
** (HF) Fini ma doc, fais mes slides, corrigé les beugs remontés.

*''Difficultés rencontrées''
** RAS

*''Ce que nous allons faire''
** (AG) Doc et slides
** (RG) Hyper paramètres, correction doc cécile, rechercher pourquoi toujours même prédiction, slides.
** (QF) Diapos, rechercher pourquoi toujours même prédiction.
** (HF, AA) Diapos et alertes front


=Autres réunions=
=Autres réunions=
Line 168: Line 522:
** Discussion sur la récupération des données
** Discussion sur la récupération des données
** Mise en garde sur l'ontologie (mots de même sens mais exprimés différemment) pour la constructions de nos descripteurs de fichiers
** Mise en garde sur l'ontologie (mots de même sens mais exprimés différemment) pour la constructions de nos descripteurs de fichiers


===Soutenance de mi-parcours 14/02===
'''Présents''': Didier Donsez, Bernard Tourancheau, Alicia, Antoine, Cécile, Héloïse, Romane

* [[Media:RICM5_2017_2018_DeepLearning_mi-parcours.pdf|Slides]]

*''Points abordés''
** Notre avancement
** Notre planning
** Remarques sur la présentation de notre avancement

*''Remarques''
** Utilisation de Swagger ?


==Réunions avec Disrupt' Campus==
==Réunions avec Disrupt' Campus==
Line 182: Line 550:
** Livrer le SRS : Vendredi 02/02 à 17h
** Livrer le SRS : Vendredi 02/02 à 17h
** Livrer le product back-log : Lundi 05/02 à 14h
** Livrer le product back-log : Lundi 05/02 à 14h


===Réunion du 14/02===
'''Présents''': Gérard Pollier, Lucas Bisognin, Alicia, Antoine, Cécile, Héloïse, Romane

*''Points abordés''
** Collecte des données
*** Ce que nous avons
*** Les actions pour avoir plus de données
**** IAE
**** INP
**** DLST
**** GEM
*** Les types de données nécessaires
** Avancement du projet
*** Front-End
*** Conception IHM
*** Gestion de projet

*''Actions''
** Contacter les responsables de filières pour les données (Disrupt campus)
** Envoyer le format de données (AA) Aujourd'hui
** Penser à relancer les clients/profs
** Demander les notes des stages (AA)


==Présentations de Veille Techno==
==Présentations de Veille Techno==
Line 201: Line 593:
*** Calcule des règles logiques à partir de la base d'apprentissage
*** Calcule des règles logiques à partir de la base d'apprentissage
*** Prédiction plus rapide par la suite
*** Prédiction plus rapide par la suite
** [[Media:Algo_Recomm.pdf|Slides]]
** QF : Présentation [[Media:Algo_Recomm.pdf|Slides]]
** Choix d'utiliser la méthode Association Rule-based
** Choix d'utiliser la méthode Association Rule-based

Latest revision as of 08:04, 14 March 2018

<<< RETOUR

Réunions de Sprints

Sprint 0

Daily Vendredi 02/02

Présents : Alicia, Antoine, Qianqian, Héloïse en chat vocal

  • Ce qui a été fait
    • SRS : Quasi fini, il reste la structure de l'application à détailler (dépends de l'UML)
    • UML : a revoir et valider
    • Recherches technos : Finies, à approfondir pour le réseau de neurones
  • Difficultés rencontrées
    • Risque au niveau des données (récupération et traitement) car nous n'avons commencé la partie de conception
  • Actions
    • Aujourd'hui 17h Rendu du SRS (Alicia)
    • Aujourd'hui Finir l'IHM abstraite (Alicia)
    • Aujourd'hui Commencer le back-log (Tous)
    • 05/02 Présentation des résultats de recherche (QianQian)
    • 05/02 Finir le back-log (Tous)

Sprint 1

Sprint Planning 05/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

  • Ce qui a été fait
    • SRS
    • UML
    • IHM abstraite
    • Gestion et mise en place du projet
  • Difficultés rencontrées
    • Projet un peu flou
    • Appréhension au niveau de la récupération des données
  • Choix des users stories pour le sprint 1
    • US2 : Définir des formats de données
    • US5 : Etude des modalités de documents et de texte brut
    • US6 : Rechercher des données pertinentes
    • US10 : Rédiger la charte graphique
    • US37 : Concevoir la BDD
    • US38 : Maquette IHM
    • US39 : Trouver des données pour remplir notre BDD
    • US40 : Créer architecture Back-End
    • US41 : Créer architecture Front-End
    • US42 : Présentation des algorithmes de recommandation

Daily 06/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

  • Ce qui a été fait
    • Recherche d'offre
      • Pour PRI, RICM
      • Piste pour les offre GGC
    • Contact responsable stages UGA
    • Conception BDD
    • Charte graphique
      • Logo à décider
    • Début back-end
      • Mise en place Flask
      • Documentation
  • Difficultés rencontrées
    • RAS
  • Tâches à effectuer
    • RG : Back-end (autoformation), Conception des descripteurs
    • AG : Back-end (autoformation, création répo git)
    • HF : Maquettes IHM, Présentation des logos
    • QF : Présentation des algos, Conception des descripteurs
    • AA : Maquettes IHM, Début front-end si le temps

Daily 07/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

  • Ce qui a été fait
    • Recherches sur les formats de données à adopter et algorithmes des réseaux neuronaux
    • Réunion de suivi avec DD
    • Maquettes IHM et charte graphique finis
    • Architecture Front-End démarrée
    • Architecture Back-End mis en place avec Flask
    • Tutoriel TensorFlow avec CodinGame : ici
  • Difficultés
    • Problème d’exécution du tutoriel TensorFlow
    • Problèmes d'affichage des images
    • Problème de json pour le back-end
    • Difficultés à comprendre TensorFlow
  • Tâches à effectuer
    • US41 (HF,AA) : Front + routing + images
    • US40 (AG) : Créer BDD
    • US5 (RG,QF) : Continuer les recherches et faire des tutoriels

Daily 08/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

  • Ce qui a été fait
    • Tutoriel pour le pré-traitement en python (RG)
    • Tutoriel Tensorflow (QF)
    • Squelette du site web (AA,HF)
    • Création de la base de donnée (python --> vers la BDD) (AG)
  • Difficultés
    • Téléchargement des données pour le tutoriel TensorFlow (QF)
    • Problèmes de css pour la navbar (en utilisant des ngIf) (AA)
  • Tâches à effectuer
    • US41 (HF,AA) : Front + routing + navbar
    • US40 (AG) : Continuer de créer BDD
    • US5 (RG,QF) : Continuer les recherches et faire des tutoriels

Daily 09/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

  • Ce qui a été fait
    • Fin du tutoriel pour transformer des documents en vecteurs (QF)
    • Fin de mise en place de l'archi de la BDD et création des routes pour accéder aux données (AG)
    • Continuer le tutoriel de transformation de docs en vecteurs (RG)
    • Envoi de mail (AA)
    • Continuer le squelette du front-end (AA, HF)
  • Difficultés
    • Lire un caractère dans le terminal en python (RG)
  • Tâches à effectuer
    • Tutoriel pour l'apprentissage (QF)
    • Documentation des routes (AG)
    • Faire une documentation de description des descripteurs (QF, RG)
    • Popup connexion + regler problème bouton + tutoriel Angular + formation (HF)
    • Pages admin (stats, données, formations) (AA)

Sprint Review 09/02

  • Démo de la version 0 de l'application web :
    • Demo v0 du back-end
    • Demo v0 du font-end : Non terminé bug encore présents non connecté avec le back-end.
    • Deep-learning en trois étapes
      • Texte to vectors : réalisé
      • CNN
      • Prédiction avec réseaux hyper-connecté
  • Rétrospective du sprint :
    • User Story non terminée car ajout de sous-taches au cours du sprint.
    • Le chef y rage parce ça marche pas et qu'elle veux écrire du code!!!!
    • Problème d'installation de la clé

Sprint 2

Sprint Planning 12/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

  • Ce qui a été fait
    • US2 : Définir des formats de données
    • US5 : Etude des modalités de documents et de texte brut
    • US6 : Rechercher des données pertinentes
    • US10 : Rédiger la charte graphique
    • US37 : Concevoir la BDD
    • US38 : Maquette IHM
    • US39 : Trouver des données pour remplir notre BDD
    • US40 : Créer architecture Back-End
    • US42 : Présentation des algorithmes de recommandation
  • Choix des users stories pour le sprint 2
    • US41 : Créer architecture Front-End (continuer)
    • US4 : Mettre en place SonarQube
    • US19 : Pré-traiter les offres
    • US21 : Préparer la base d'apprentissage
    • US43 : Choisir l'hébergeur
    • US44 : Comparaison TensorFlow cloud et TensorFlow en local
    • US45 : Définir les méthodes de l'API
    • US46 : Préparer la soutenance mi-parcours
    • US47 : Tests unitaires

Daily 13/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

  • Ce qui a été fait
    • Installations pour faire tourner le back, mise en forme du Excel de la base d'apprentissage (RG)
    • Continuer le Front-End
      • Lien offre-formation via des services (HF)
      • Page Admin données + logique derrière (AA)
    • Commencer la mise en place de SonarQube (AG)
    • Prétraitement des offres (QF)
      • Mettre en forme les offres (Taille fixe)
  • Difficultés
    • Utilisation de service pour la logique du Front-End (AA)
  • Tâches à effectuer
    • Automatiser les runs SonarQube (AG)
    • Lancer la construction des descripteurs des offres (Word2Vector) (QF)
    • Voir M. Besacier (tous)
    • Compléter l'implémentation des méthodes de l'API (RG)
    • Continuer le Front-End
      • Logique de connexion (HF)
      • Utiliser les services + Page formations de l'admin (AA)

Daily 14/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

  • Ce qui a été fait
    • Rajouter des méthodes dans le Back-End (RG)
    • Front-End
      • Finir des pages et commencer le service de connexion (HF)
      • Finir les pages admin et modification de la page mes offre (AA)
    • Finit le pré-traitement des offres, débuter le traitement de la base d'apprentissage (QF)
    • Terminer la mise en place de SonarQube automatisée, commencer recherche pour tests-unitaires (AG)
  • Difficultés
    • Définir la manière de donner la même taille à tout les textes (QF)
  • Tâches à effectuer
    • Front-End : Finir le service de connexion (HF)
    • Recherches test-unitaires et mise en place (AG)
    • Back-End: continuer l'implémentation des méthodes (RG)
    • Traitement de la base d'apprentissage (QF)
    • Installer la clé Intel Movidius (AA)
    • Comparaison TensorFlow cloud et en local (AA)

Daily 16/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

  • Ce qui a été fait
    • Review du back-end : changer les noms de la BDD (RG)
    • Finir l'architecture du front (HF)
    • Finir la rédaction du code de pré-traitement des offres (QF)
    • Recherches Tests unitaires et mise en place (AG)
    • Installer le logiciel pour la clef (AA)
    • Tutoriel TensorFlow CNN (AA)
  • Difficultés
    • Changer les noms a tout cassé (RG)
  • Tâches à effectuer
    • Tests unitaires et documentation du code (QF, AG)
    • Sélectionner un hébergeur (HF)
    • Tutoriel/Doc TensorFlow (AA, HF)
    • Installer la clé (AA)
    • Corriger le back-end (RG)

Sprint Review 16/02

  • Ce qui a été fait
    • Archi Back & Front terminées :D
    • Clé installée
  • Rétrospective du sprint
    • On avait prévus moins que ce que l'on pouvait faire donc on en a rajouté en route
    • Implémentation non terminée des requêtes back mais ce n'est pas grave
    • Tests unitaires = grosse charge mais une seule personne dessus et des problèmes
    • Une tache encore en test mais c'est normal du a la mise en place difficile des test unitaires.

Le prochain sprint va être clé !

Sprint 3

Sprint Planning 26/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

  • Ce qui a été fait
    • US4 : Mettre en place SonarQube
    • US41 : Créer architecture Front-End
    • US43 : Choisir l'hébergeur
    • US44 : Comparaison TensorFlow cloud et TensorFlow en local
    • US46 : Préparer la soutenance mi-parcours
  • Ce qui a été reporté
    • US19 : Pré-traiter les offres (en Test)
    • US21 : Préparer la base d'apprentissage (en implémentation)
    • US45 : Définir et implémenter
    • US47 : Tests unitaires
  • Choix des users stories pour le sprint 3
    • US20 : Créer et entrainer les réseaux de neurones sur la base d'apprentissage
    • US22 : Déployer la back-end sur un/des serveur(s)
    • US23 : Déployer la base de donnée sur un/des serveur(s)
    • US49 : Automatiser les tests unitaires

Daily 27/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

  • Ce qui a été fait
    • US45
      • (HF) : Connexion, déconnexion et inscription
      • (RG) : Fonction pour ajouter des équipes dans la BDD, test de fonctions, ajout de fonction pour récupérer les formations associées à une offre
    • US20
      • (QF) : Etudier le projet de l'année dernière pour la prédiction (ils utilisent RNN)
      • (AA) : Installation de TensorFlow
    • US47 (AG) Travail sur la BDD pour les tests unitaires
  • Difficultés rencontrées
    • (HF) Hachage du password, déconnexion (màj du booléen)
    • (AA) Installation de Cuda sans succès
  • Ce qui est à faire
    • (HF) : Continuer les fonctions de connexion/déconnexion sur le back-end. Recherches pour la mise en place de Jenkins pour le serveur
    • (QF) : Continuer le tutoriel pour l'apprentissage multiclasses
    • (RG) : Continuer les fonctions dans le back-end (API)
    • (AG) : Conitnuer sur les test unitaires (création de la BDD)
    • (AA) : Recherche pour la prédiction multiclasses avec nombre de classes non fixé. Tutoriel TensorFlow CNN.

Daily 28/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

  • Ce qui a été fait
    • (AG) Tests unitaires on avance dans la mise en place de BDD spécifique aux tests unitaires
    • (RG) Finir l'implémentation des méthodes de l'API
    • (QF) Continuer les recherches : Trouvé un tutoriel avec Word2Vec, CNN, multiclasses
    • (HF) Transféré les fonctions de connexion, inscription, déconnexion à partir du projet de l'année dernière et installation d'Apache sur la machine serveur
    • (AA) Complété le pré-traitement des offres
  • Difficultés rencontrées
    • RAS
  • Ce qui est à faire
    • Réunion pour déterminer ce que nous allons implémenter pour l'apprentissage et la prédiction de formations (en utilisant CNN)
    • Réunion tests unitaires
    • (HF et RG) Review de code
    • Implémentation de CNN

Daily 01/03

Présents : Alicia, Antoine, Héloïse, Qianqian, Romane (retard)

  • Ce qui a été fait
    • (QF) Commencé l'algorithme d'apprentissage
    • (AG) Fin de mise en place de BDD spécifique, Début d'automatisation du lancement
    • (HF) Recherches sur les hyper-paramètres, intégration du préprocessing au serveur, tentative de mise ne place d'adresse non dynamique pour le serveur
    • (AA) Continuer le préprocessing pour en changer le format et le compléter
    • (RG) Documentation du code et travail sur l'apprentissage
  • Difficultés rencontrées
    • (QF) Erreur de lecture (indices des tableaux en python)
    • (HF) OIP qui ne marche pas et problèmes d'encodage
    • (AA) Panne machine
    • (RG) Installation de python et tensorflow cassées
  • Ce qui est à faire
    • (RG) Corriger l'installation et commenter
    • (QF) Correction de bugs
    • (AG) Automatiqation tests SonarQube
    • (HF) Serveur
    • (AA, HF) Correction encodage preprocessing, Préprocessing depuis la BDD

Daily 02/03

Présents : Alicia, Antoine, Héloïse, Romane

  • Ce qui a été fait
    • (AG) Mettre en place les tests unitaires automatiquement avec Travis et couverture de code avec SonarQube
    • (RG) Réparation des installations sur son PC, commenter le code
    • (HF, AA) Enregistrement des offres prétraitées dans la BDD
  • Difficultés rencontrées
    • (HF) A tout cassé l'installation du serveur
  • Ce qui est à faire
    • (HF, AA) Finir la préparation de la base d'apprentissage
    • (AG) Finir l’automatisation des tests. Faire de la review et du test
    • (AA, AG) Extraction du texte des pdf
    • (RG) Commenter du code, Créer et entraîner la base d'apprentissage

Sprint 4

Sprint Planning 05/03

  • Ce qui a été fini
    • US21 : Préparer la base d'apprentissage
    • US47 : Tests unitaires
    • US49 : Automatiser les tests unitaires
  • Ce qui a été reporté
    • US19 : Pré-traiter les offres (en Test)
    • US20 : Créer et entrainer les réseaux de neurones sur la base d'apprentissage
    • US22 : Déployer la back-end sur un/des serveur(s)
    • US23 : Déployer la base de donnée sur un/des serveur(s)
    • US45 : Définir et implémenter les méthodes de l'API
  • Choix des user-stories pour le sprint 4
    • US17 : Calculer la formation correspondant à une offre
    • US24 : Etablir la communication API/Front
    • US25 : Proposer de donner un feed-back sur une prédiction
    • US27 : Afficher la description détaillé d'une formation
    • US28 : Permettre la supression d'une formation
    • US29 : Permettre d'ajouter une formation
    • US30 : Permettre l'ajout de données à la base d'apprentissage
    • US31 : Permettre la supression d'une offre
    • US32 : Permettre la consultation des offres enregistrées
    • US33 : Permettre de se connecter
    • US34 : Création d'un compte
    • US35 : Permettre de consulter les formations correspondant à une offre
    • US36 : Permettre d'entrer une offre
    • US48 : Faire les services de droit d'authentification
    • US51 : Rajouter les pop-up de danger lors des supressions
    • US52 : Changer les couleurs du front

Daily 06/03

Présents : Alicia, Antoine, Cécile, Héloïse, Romane

  • Ce qui a été fait
    • (HF, AA) Debugging et travail connexion back-front
    • (RG,QF) Debugging et mise en forme du code
    • (AG) Tests unitaires du prétraitement et de l'API (dbManager)
    • (QF) Modification de code pour le stockage du modele
  • Difficultés rencontrées
    • (RG) Problème d'arborescence sur son PC
  • Ce que nous allons faire
    • (QF) test de la fonction dans eval.py
    • (HF) Système de connexion front-end (et éventuellement entrer les offres)
    • (AG) Mise en forme du fichier Pstage et récupération de données puis soutient front-end
    • (RG) Continuer la récupération des données pour l'apprentissage dans la BD et mise en forme du code en fonction.
    • (AA) Front-End : Ajout/Suppression d'une formation et suppression d'une offre.

Daily 07/03

Présents : Alicia, Antoine, Cécile, Héloïse, Romane

  • Ce qui a été fait
    • (RG) Repris le code train pour le mettre sous forme de fonction pour qu'il puisse être appelé. Accès à la BDD.
    • (QF) Testé eval et crée une route pour générer des prédictions. PAs encore testé.
    • (AG) Mise en forme des données et modification de la fonction init
    • (HF) Fait la connexion (back et front). Préparé pour les prédictions. Tenté de déployer le front.
    • (AA) Fait la récupération des formations AVEC les contacts (front et back)
  • Difficultés rencontrées
    • (HF) N'as pas ouvert le port qu'il faut sur sa box.
  • Ce que nous allons faire
    • (HF, AA) Review de code et implem front-end
    • (RG) Fonctions statistiques
    • (AG) Recherches pour les lancement de l'apprentissage à heure fixe dans la nuit
    • (QF) Tester les fonctions de prediction et routes + W2V avec le voc français de Google.

Daily 08/03

Présents : Alicia, Antoine, Cécile, Héloïse, Romane

  • Ce qui a été fait
    • (RG) Finit l'eval, rechangé le nombre de classes en train, revue code de Cécile, fonctions dans routes.
    • (QF) Review code de Romane, téléchargement d'un modèle de prétraitement.
    • (AG) Vu comment relancer le serveur toutes les nuits.
    • (HF) Continué le lien back-front, corrigé le serveur (Jenkins), installation de TensorFlow.
    • (AA) Continué le front pour l'admin.
  • Difficultés rencontrées
    • RAS
  • Ce que nous allons faire
    • (QF) Preprocessing avec le voc français
    • (AA, RG) Fonctions de recherche d'offre, d'upload de fichiers
    • (HF) Correction de code et prédiction dans le front, paramètres du compte
    • (AG) Traitement des données

Daily 09/03

Présents : Alicia, Antoine, Cécile, Héloïse, Romane

  • Ce qui a été fait
    • (RG) Méthodes delete propres
    • (RG, AA) Travail pour la pagination des offres
    • (QF) Ajout du modèle français de Word2Vect
    • (AG) Mise en forme des offres reçues par Disrupt Campus
    • (HF) Changé les couleurs du site, travail sur les prédictions
  • Difficultés rencontrées
    • (QF) Chargement long du modèle (~1h)
    • (RG) Installations pour le front qui ne marchent pas
    • (HF) Erreur 500 sur le back-end pour la prédiction
  • Ce que nous allons faire
    • Revoir la charte graphique
    • (AG) Tests API
    • (AA) Tests unitaire de preprocessing
    • (QF) Résolution du flag
    • (HF) Pages de paramètres et pop-up
    • (RG, AA) Fonction de recherche et pagination

Sprint Review 09/03

Présents : Alicia, Antoine, Cécile, Héloïse, Romane

  • Ce qui a été fini
    • Le site est fini (à quelques validations de fomrulaires et pop-up près).
  • Reste à faire
    • Tests et documentation

Sprint 5

Sprint Planning 12/03

  • Ce qui a été fini
    • US19 : Pré-traiter les offres (en Test)
    • US20 : Créer et entrainer les réseaux de neurones sur la base d'apprentissage
    • US23 : Déployer la base de donnée sur un/des serveur(s)
    • US24 : Etablir la communication API/Front
    • US52 : Changer les couleurs du front
  • Ce qui a été reporté
    • Review
    • US17 : Calculer la formation correspondant à une offre
    • US22 : Déployer la back-end sur un/des serveur(s)
    • US45 : Définir et implémenter les méthodes de l'API
    • Test
    • US25 : Proposer de donner un feed-back sur une prédiction
    • US27 : Afficher la description détaillé d'une formation
    • US28 : Permettre la supression d'une formation
    • US29 : Permettre d'ajouter une formation
    • US30 : Permettre l'ajout de données à la base d'apprentissage
    • US31 : Permettre la supression d'une offre
    • US32 : Permettre la consultation des offres enregistrées
    • US33 : Permettre de se connecter
    • US34 : Création d'un compte
    • US35 : Permettre de consulter les formations correspondant à une offre
    • US36 : Permettre d'entrer une offre
    • US48 : Faire les services de droit d'authentification
    • US51 : Rajouter les pop-up de danger lors des supressions
  • Choix des user-stories pour le sprint 4


Daily 13/03

Présents : Alicia, Antoine, Cécile, Héloïse, Romane

  • Ce qui a été fait
    • (HF) Corrections dans le front (sauvegarde de données dans un service), travaillé sur le serveur (lancement automatique, scripts)
    • (AA) Correction erreur dans le front (màj contacts) et recherche par filière dans les données admin, page admin abandonnées
    • (QF) Rédaction test utilisateur, et documentation W2V et TensorFlow
    • (AG) Prétraitement en utilisant moins de RAM, Correction csv
    • (RG) Document routes
  • Difficultés rencontrées
    • RAS
  • Ce que nous allons faire
    • (AA) Affichage accuracy
    • (RG, AG) Tests du front en boite noire
    • (QF) Doc et scénarios
    • (AG) Doc
    • (HF) Commencer les diapos, correction des beugs
    • (RG) Script pour tester plusieurs hyper-paramètres

Daily 14/03

Présents : Alicia, Antoine, Cécile, Héloïse, Romane

  • Ce qui a été fait
    • (RG) Tests et le programme pour tester les hyper paramètres
    • (AG) Tests et ajout des offres reçues en dernière minute. Terminé l'utilisation de moins de RAM pour le prétraitement
    • (QF) Rédaction de la documentation de Deep Learning. Exploration du code pour essayer de voir pourquoi on a toujours la même prédiction.
    • (AA) Rédaction des cénarios de test, corrigé des beugs remonté, rajouté la page de stats.
    • (HF) Fini ma doc, fais mes slides, corrigé les beugs remontés.
  • Difficultés rencontrées
    • RAS
  • Ce que nous allons faire
    • (AG) Doc et slides
    • (RG) Hyper paramètres, correction doc cécile, rechercher pourquoi toujours même prédiction, slides.
    • (QF) Diapos, rechercher pourquoi toujours même prédiction.
    • (HF, AA) Diapos et alertes front

Autres réunions

Réunions de suivi

Réunion Skype du 06/02

Présents: Didier Donsez, Alicia, Antoine, Cécile, Héloïse, Romane

  • Points Abordés
    • Avancement du projet et tâches effectuées
    • Discussion sur la récupération des données
    • Mise en garde sur l'ontologie (mots de même sens mais exprimés différemment) pour la constructions de nos descripteurs de fichiers


Soutenance de mi-parcours 14/02

Présents: Didier Donsez, Bernard Tourancheau, Alicia, Antoine, Cécile, Héloïse, Romane

  • Points abordés
    • Notre avancement
    • Notre planning
    • Remarques sur la présentation de notre avancement
  • Remarques
    • Utilisation de Swagger ?

Réunions avec Disrupt' Campus

Réunion du 30/01

Présents: Gérard Pollier, Lucas Bisognin, Alicia, Antoine, Cécile, Romane

  • Points Abordés
    • Présentation du projet Disrupt'Campus
    • Conseils sur la gestion de projet
    • Besoins pour le projet
      • Associer une offre à plusieurs profils
      • Apprentissage à partir des descriptions de compétences des formations
      • Facilité d'utilisation de notre application
  • Actions
    • Livrer le SRS : Vendredi 02/02 à 17h
    • Livrer le product back-log : Lundi 05/02 à 14h


Réunion du 14/02

Présents: Gérard Pollier, Lucas Bisognin, Alicia, Antoine, Cécile, Héloïse, Romane

  • Points abordés
    • Collecte des données
      • Ce que nous avons
      • Les actions pour avoir plus de données
        • IAE
        • INP
        • DLST
        • GEM
      • Les types de données nécessaires
    • Avancement du projet
      • Front-End
      • Conception IHM
      • Gestion de projet
  • Actions
    • Contacter les responsables de filières pour les données (Disrupt campus)
    • Envoyer le format de données (AA) Aujourd'hui
    • Penser à relancer les clients/profs
    • Demander les notes des stages (AA)

Présentations de Veille Techno

Réunion du 30/01 pour présentation de TensorFlow vs DeepLearning4j

Présents: Alicia, Antoine, Cécile, Romane

  • Points Abordés
    • Pertinence de TensorFlow, DeepLearning4j et PyTorch pour notre projet
    • QF : Présentation Slides
    • Choix de conserver TensorFlow, plus adapté aux projets d'innovation (plus grande communauté)

Réunion du 06/02 pour présentation des algorithmes de recommandation

Présents: Alicia, Antoine, Cécile, Héloïse, Romane

  • Points Abordés
    • Filtrage collaboratif
      • Comparaison entre les offres et toutes celles de la base pour trouver la plus proche
      • Similarité entre la formation de la plus proches et des autres pour prédire une solution
      • Trop long à lancer pour nos exigences de performance
    • Association Rule-based
      • Calcule des règles logiques à partir de la base d'apprentissage
      • Prédiction plus rapide par la suite
    • QF : Présentation Slides
    • Choix d'utiliser la méthode Association Rule-based