SmartRecruiting/Reunions

<<< RETOUR

Réunions de Sprints

Sprint 0

Daily Vendredi 02/02

Présents : Alicia, Antoine, Qianqian, Héloïse en chat vocal

• Ce qui a été fait
  • SRS : Quasi fini, il reste la structure de l'application à détailler (dépends de l'UML)
  • UML : a revoir et valider
  • Recherches technos : Finies, à approfondir pour le réseau de neurones
• Difficultés rencontrées
  • Risque au niveau des données (récupération et traitement) car nous n'avons commencé la partie de conception
• Actions
  • Aujourd'hui 17h Rendu du SRS (Alicia)
  • Aujourd'hui Finir l'IHM abstraite (Alicia)
  • Aujourd'hui Commencer le back-log (Tous)
  • 05/02 Présentation des résultats de recherche (QianQian)
  • 05/02 Finir le back-log (Tous)

Sprint 1

Sprint Planning 05/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

• Ce qui a été fait
  • SRS
  • UML
  • IHM abstraite
  • Gestion et mise en place du projet
• Difficultés rencontrées
  • Projet un peu flou
  • Appréhension au niveau de la récupération des données
• Choix des users stories pour le sprint 1
  • US2 : Définir des formats de données
  • US5 : Etude des modalités de documents et de texte brut
  • US6 : Rechercher des données pertinentes
  • US10 : Rédiger la charte graphique
  • US37 : Concevoir la BDD
  • US38 : Maquette IHM
  • US39 : Trouver des données pour remplir notre BDD
  • US40 : Créer architecture Back-End
  • US41 : Créer architecture Front-End
  • US42 : Présentation des algorithmes de recommandation

Daily 06/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

• Ce qui a été fait
  • Recherche d'offre
    • Pour PRI, RICM
    • Piste pour les offre GGC
  • Contact responsable stages UGA
  • Conception BDD
  • Charte graphique
    • Logo à décider
  • Début back-end
    • Mise en place Flask
    • Documentation
• Difficultés rencontrées
  • RAS
• Tâches à effectuer
  • RG : Back-end (autoformation), Conception des descripteurs
  • AG : Back-end (autoformation, création répo git)
  • HF : Maquettes IHM, Présentation des logos
  • QF : Présentation des algos, Conception des descripteurs
  • AA : Maquettes IHM, Début front-end si le temps

Daily 07/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

• Ce qui a été fait
  • Recherches sur les formats de données à adopter et algorithmes des réseaux neuronaux
  • Réunion de suivi avec DD
  • Maquettes IHM et charte graphique finis
  • Architecture Front-End démarrée
  • Architecture Back-End mis en place avec Flask
  • Tutoriel TensorFlow avec CodinGame : ici

• Difficultés
  • Problème d’exécution du tutoriel TensorFlow
  • Problèmes d'affichage des images
  • Problème de json pour le back-end
  • Difficultés à comprendre TensorFlow

• Tâches à effectuer
  • US41 (HF,AA) : Front + routing + images
  • US40 (AG) : Créer BDD
  • US5 (RG,QF) : Continuer les recherches et faire des tutoriels

Daily 08/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

• Ce qui a été fait
  • Tutoriel pour le pré-traitement en python (RG)
  • Tutoriel Tensorflow (QF)
  • Squelette du site web (AA,HF)
  • Création de la base de donnée (python --> vers la BDD) (AG)

• Difficultés
  • Téléchargement des données pour le tutoriel TensorFlow (QF)
  • Problèmes de css pour la navbar (en utilisant des ngIf) (AA)

• Tâches à effectuer
  • US41 (HF,AA) : Front + routing + navbar
  • US40 (AG) : Continuer de créer BDD
  • US5 (RG,QF) : Continuer les recherches et faire des tutoriels

Daily 09/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

• Ce qui a été fait
  • Fin du tutoriel pour transformer des documents en vecteurs (QF)
  • Fin de mise en place de l'archi de la BDD et création des routes pour accéder aux données (AG)
  • Continuer le tutoriel de transformation de docs en vecteurs (RG)
  • Envoi de mail (AA)
  • Continuer le squelette du front-end (AA, HF)

• Difficultés
  • Lire un caractère dans le terminal en python (RG)

• Tâches à effectuer
  • Tutoriel pour l'apprentissage (QF)
  • Documentation des routes (AG)
  • Faire une documentation de description des descripteurs (QF, RG)
  • Popup connexion + regler problème bouton + tutoriel Angular + formation (HF)
  • Pages admin (stats, données, formations) (AA)

Sprint Review 09/02

• Démo de la version 0 de l'application web :
  • Demo v0 du back-end
  • Demo v0 du font-end : Non terminé bug encore présents non connecté avec le back-end.
  • Deep-learning en trois étapes
    • Texte to vectors : réalisé
    • CNN
    • Prédiction avec réseaux hyper-connecté
• Rétrospective du sprint :
  • User Story non terminée car ajout de sous-taches au cours du sprint.
  • Le chef y rage parce ça marche pas et qu'elle veux écrire du code!!!!
  • Problème d'installation de la clé

Sprint 2

Sprint Planning 12/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

• Ce qui a été fait
  • US2 : Définir des formats de données
  • US5 : Etude des modalités de documents et de texte brut
  • US6 : Rechercher des données pertinentes
  • US10 : Rédiger la charte graphique
  • US37 : Concevoir la BDD
  • US38 : Maquette IHM
  • US39 : Trouver des données pour remplir notre BDD
  • US40 : Créer architecture Back-End
  • US42 : Présentation des algorithmes de recommandation

• Choix des users stories pour le sprint 2
  • US41 : Créer architecture Front-End (continuer)
  • US4 : Mettre en place SonarQube
  • US19 : Pré-traiter les offres
  • US21 : Préparer la base d'apprentissage
  • US43 : Choisir l'hébergeur
  • US44 : Comparaison TensorFlow cloud et TensorFlow en local
  • US45 : Définir les méthodes de l'API
  • US46 : Préparer la soutenance mi-parcours
  • US47 : Tests unitaires

Daily 13/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

• Ce qui a été fait
  • Installations pour faire tourner le back, mise en forme du Excel de la base d'apprentissage (RG)
  • Continuer le Front-End
    • Lien offre-formation via des services (HF)
    • Page Admin données + logique derrière (AA)
  • Commencer la mise en place de SonarQube (AG)
  • Prétraitement des offres (QF)
    • Mettre en forme les offres (Taille fixe)

• Difficultés
  • Utilisation de service pour la logique du Front-End (AA)

• Tâches à effectuer
  • Automatiser les runs SonarQube (AG)
  • Lancer la construction des descripteurs des offres (Word2Vector) (QF)
  • Voir M. Besacier (tous)
  • Compléter l'implémentation des méthodes de l'API (RG)
  • Continuer le Front-End
    • Logique de connexion (HF)
    • Utiliser les services + Page formations de l'admin (AA)

Daily 14/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

• Ce qui a été fait
  • Rajouter des méthodes dans le Back-End (RG)
  • Front-End
    • Finir des pages et commencer le service de connexion (HF)
    • Finir les pages admin et modification de la page mes offre (AA)
  • Finit le pré-traitement des offres, débuter le traitement de la base d'apprentissage (QF)
  • Terminer la mise en place de SonarQube automatisée, commencer recherche pour tests-unitaires (AG)

• Difficultés
  • Définir la manière de donner la même taille à tout les textes (QF)

• Tâches à effectuer
  • Front-End : Finir le service de connexion (HF)
  • Recherches test-unitaires et mise en place (AG)
  • Back-End: continuer l'implémentation des méthodes (RG)
  • Traitement de la base d'apprentissage (QF)
  • Installer la clé Intel Movidius (AA)
  • Comparaison TensorFlow cloud et en local (AA)

Daily 16/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

• Ce qui a été fait
  • Review du back-end : changer les noms de la BDD (RG)
  • Finir l'architecture du front (HF)
  • Finir la rédaction du code de pré-traitement des offres (QF)
  • Recherches Tests unitaires et mise en place (AG)
  • Installer le logiciel pour la clef (AA)
  • Tutoriel TensorFlow CNN (AA)

• Difficultés
  • Changer les noms a tout cassé (RG)

• Tâches à effectuer
  • Tests unitaires et documentation du code (QF, AG)
  • Sélectionner un hébergeur (HF)
  • Tutoriel/Doc TensorFlow (AA, HF)
  • Installer la clé (AA)
  • Corriger le back-end (RG)

Sprint Review 16/02

• Ce qui a été fait
  • Archi Back & Front terminées :D
  • Clé installée

• Rétrospective du sprint
  • On avait prévus moins que ce que l'on pouvait faire donc on en a rajouté en route
  • Implémentation non terminée des requêtes back mais ce n'est pas grave
  • Tests unitaires = grosse charge mais une seule personne dessus et des problèmes
  • Une tache encore en test mais c'est normal du a la mise en place difficile des test unitaires.

Le prochain sprint va être clé !

Sprint 3

Sprint Planning 26/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

• Ce qui a été fait
  • US4 : Mettre en place SonarQube
  • US41 : Créer architecture Front-End
  • US43 : Choisir l'hébergeur
  • US44 : Comparaison TensorFlow cloud et TensorFlow en local
  • US46 : Préparer la soutenance mi-parcours
• Ce qui a été reporté
  • US19 : Pré-traiter les offres (en Test)
  • US21 : Préparer la base d'apprentissage (en implémentation)
  • US45 : Définir et implémenter
  • US47 : Tests unitaires
• Choix des users stories pour le sprint 3
  • US20 : Créer et entrainer les réseaux de neurones sur la base d'apprentissage
  • US22 : Déployer la back-end sur un/des serveur(s)
  • US23 : Déployer la base de donnée sur un/des serveur(s)
  • US49 : Automatiser les tests unitaires

Daily 27/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

• Ce qui a été fait
  • US45
    • (HF) : Connexion, déconnexion et inscription
    • (RG) : Fonction pour ajouter des équipes dans la BDD, test de fonctions, ajout de fonction pour récupérer les formations associées à une offre
  • US20
    • (QF) : Etudier le projet de l'année dernière pour la prédiction (ils utilisent RNN)
    • (AA) : Installation de TensorFlow
  • US47 (AG) Travail sur la BDD pour les tests unitaires
• Difficultés rencontrées
  • (HF) Hachage du password, déconnexion (màj du booléen)
  • (AA) Installation de Cuda sans succès
• Ce qui est à faire
  • (HF) : Continuer les fonctions de connexion/déconnexion sur le back-end. Recherches pour la mise en place de Jenkins pour le serveur
  • (QF) : Continuer le tutoriel pour l'apprentissage multiclasses
  • (RG) : Continuer les fonctions dans le back-end (API)
  • (AG) : Conitnuer sur les test unitaires (création de la BDD)
  • (AA) : Recherche pour la prédiction multiclasses avec nombre de classes non fixé. Tutoriel TensorFlow CNN.

Daily 28/02

Présents : Alicia, Antoine, Héloïse, Romane, Qianqian

• Ce qui a été fait
  • (AG) Tests unitaires on avance dans la mise en place de BDD spécifique aux tests unitaires
  • (RG) Finir l'implémentation des méthodes de l'API
  • (QF) Continuer les recherches : Trouvé un tutoriel avec Word2Vec, CNN, multiclasses
  • (HF) Transféré les fonctions de connexion, inscription, déconnexion à partir du projet de l'année dernière et installation d'Apache sur la machine serveur
  • (AA) Complété le pré-traitement des offres
• Difficultés rencontrées
  • RAS
• Ce qui est à faire
  • Réunion pour déterminer ce que nous allons implémenter pour l'apprentissage et la prédiction de formations (en utilisant CNN)
  • Réunion tests unitaires
  • (HF et RG) Review de code
  • Implémentation de CNN

Daily 01/03

Présents : Alicia, Antoine, Héloïse, Qianqian, Romane (retard)

• Ce qui a été fait
  • (QF) Commencé l'algorithme d'apprentissage
  • (AG) Fin de mise en place de BDD spécifique, Début d'automatisation du lancement
  • (HF) Recherches sur les hyper-paramètres, intégration du préprocessing au serveur, tentative de mise ne place d'adresse non dynamique pour le serveur
  • (AA) Continuer le préprocessing pour en changer le format et le compléter
  • (RG) Documentation du code et travail sur l'apprentissage
• Difficultés rencontrées
  • (QF) Erreur de lecture (indices des tableaux en python)
  • (HF) OIP qui ne marche pas et problèmes d'encodage
  • (AA) Panne machine
  • (RG) Installation de python et tensorflow cassées
• Ce qui est à faire
  • (RG) Corriger l'installation et commenter
  • (QF) Correction de bugs
  • (AG) Automatiqation tests SonarQube
  • (HF) Serveur
  • (AA, HF) Correction encodage preprocessing, Préprocessing depuis la BDD

Daily 02/03

Présents : Alicia, Antoine, Héloïse, Romane

• Ce qui a été fait
  • (AG) Mettre en place les tests unitaires automatiquement avec Travis et couverture de code avec SonarQube
  • (RG) Réparation des installations sur son PC, commenter le code
  • (HF, AA) Enregistrement des offres prétraitées dans la BDD
• Difficultés rencontrées
  • (HF) A tout cassé l'installation du serveur
• Ce qui est à faire
  • (HF, AA) Finir la préparation de la base d'apprentissage
  • (AG) Finir l’automatisation des tests. Faire de la review et du test
  • (AA, AG) Extraction du texte des pdf
  • (RG) Commenter du code, Créer et entraîner la base d'apprentissage

Sprint 4

Sprint Planning 05/03

• Ce qui a été fini
  • US21 : Préparer la base d'apprentissage
  • US47 : Tests unitaires
  • US49 : Automatiser les tests unitaires
• Ce qui a été reporté
  • US19 : Pré-traiter les offres (en Test)
  • US20 : Créer et entrainer les réseaux de neurones sur la base d'apprentissage
  • US22 : Déployer la back-end sur un/des serveur(s)
  • US23 : Déployer la base de donnée sur un/des serveur(s)
  • US45 : Définir et implémenter les méthodes de l'API
• Choix des user-stories pour le sprint 4
  • US17 : Calculer la formation correspondant à une offre
  • US24 : Etablir la communication API/Front
  • US25 : Proposer de donner un feed-back sur une prédiction
  • US27 : Afficher la description détaillé d'une formation
  • US28 : Permettre la supression d'une formation
  • US29 : Permettre d'ajouter une formation
  • US30 : Permettre l'ajout de données à la base d'apprentissage
  • US31 : Permettre la supression d'une offre
  • US32 : Permettre la consultation des offres enregistrées
  • US33 : Permettre de se connecter
  • US34 : Création d'un compte
  • US35 : Permettre de consulter les formations correspondant à une offre
  • US36 : Permettre d'entrer une offre
  • US48 : Faire les services de droit d'authentification
  • US51 : Rajouter les pop-up de danger lors des supressions
  • US52 : Changer les couleurs du front

Daily 06/03

Présents : Alicia, Antoine, Cécile, Héloïse, Romane

• Ce qui a été fait
  • (HF, AA) Debugging et travail connexion back-front
  • (RG,QF) Debugging et mise en forme du code
  • (AG) Tests unitaires du prétraitement et de l'API (dbManager)
  • (QF) Modification de code pour le stockage du modele

• Difficultés rencontrées
  • (RG) Problème d'arborescence sur son PC

• Ce que nous allons faire
  • (QF) test de la fonction dans eval.py
  • (HF) Système de connexion front-end (et éventuellement entrer les offres)
  • (AG) Mise en forme du fichier Pstage et récupération de données puis soutient front-end
  • (RG) Continuer la récupération des données pour l'apprentissage dans la BD et mise en forme du code en fonction.
  • (AA) Front-End : Ajout/Suppression d'une formation et suppression d'une offre.

Daily 07/03

Présents : Alicia, Antoine, Cécile, Héloïse, Romane

• Ce qui a été fait
  • (RG) Repris le code train pour le mettre sous forme de fonction pour qu'il puisse être appelé. Accès à la BDD.
  • (QF) Testé eval et crée une route pour générer des prédictions. PAs encore testé.
  • (AG) Mise en forme des données et modification de la fonction init
  • (HF) Fait la connexion (back et front). Préparé pour les prédictions. Tenté de déployer le front.
  • (AA) Fait la récupération des formations AVEC les contacts (front et back)

• Difficultés rencontrées
  • (HF) N'as pas ouvert le port qu'il faut sur sa box.

• Ce que nous allons faire
  • (HF, AA) Review de code et implem front-end
  • (RG) Fonctions statistiques
  • (AG) Recherches pour les lancement de l'apprentissage à heure fixe dans la nuit
  • (QF) Tester les fonctions de prediction et routes + W2V avec le voc français de Google.

Daily 08/03

Présents : Alicia, Antoine, Cécile, Héloïse, Romane

• Ce qui a été fait
  • (RG) Finit l'eval, rechangé le nombre de classes en train, revue code de Cécile, fonctions dans routes.
  • (QF) Review code de Romane, téléchargement d'un modèle de prétraitement.
  • (AG) Vu comment relancer le serveur toutes les nuits.
  • (HF) Continué le lien back-front, corrigé le serveur (Jenkins), installation de TensorFlow.
  • (AA) Continué le front pour l'admin.

• Difficultés rencontrées
  • RAS

• Ce que nous allons faire
  • (QF) Preprocessing avec le voc français
  • (AA, RG) Fonctions de recherche d'offre, d'upload de fichiers
  • (HF) Correction de code et prédiction dans le front, paramètres du compte
  • (AG) Traitement des données

Daily 09/03

Présents : Alicia, Antoine, Cécile, Héloïse, Romane

• Ce qui a été fait
  • (RG) Méthodes delete propres
  • (RG, AA) Travail pour la pagination des offres
  • (QF) Ajout du modèle français de Word2Vect
  • (AG) Mise en forme des offres reçues par Disrupt Campus
  • (HF) Changé les couleurs du site, travail sur les prédictions

• Difficultés rencontrées
  • (QF) Chargement long du modèle (~1h)
  • (RG) Installations pour le front qui ne marchent pas
  • (HF) Erreur 500 sur le back-end pour la prédiction

• Ce que nous allons faire
  • Revoir la charte graphique
  • (AG) Tests API
  • (AA) Tests unitaire de preprocessing
  • (QF) Résolution du flag
  • (HF) Pages de paramètres et pop-up
  • (RG, AA) Fonction de recherche et pagination

Sprint Review 09/03

Présents : Alicia, Antoine, Cécile, Héloïse, Romane

• Ce qui a été fini
  • Le site est fini (à quelques validations de fomrulaires et pop-up près).

• Reste à faire
  • Tests et documentation

Sprint 5

Sprint Planning 12/03

• Ce qui a été fini
  • US19 : Pré-traiter les offres (en Test)
  • US20 : Créer et entrainer les réseaux de neurones sur la base d'apprentissage
  • US23 : Déployer la base de donnée sur un/des serveur(s)
  • US24 : Etablir la communication API/Front
  • US52 : Changer les couleurs du front

• Ce qui a été reporté
  • Review
  • US17 : Calculer la formation correspondant à une offre
  • US22 : Déployer la back-end sur un/des serveur(s)
  • US45 : Définir et implémenter les méthodes de l'API
  • Test
  • US25 : Proposer de donner un feed-back sur une prédiction
  • US27 : Afficher la description détaillé d'une formation
  • US28 : Permettre la supression d'une formation
  • US29 : Permettre d'ajouter une formation
  • US30 : Permettre l'ajout de données à la base d'apprentissage
  • US31 : Permettre la supression d'une offre
  • US32 : Permettre la consultation des offres enregistrées
  • US33 : Permettre de se connecter
  • US34 : Création d'un compte
  • US35 : Permettre de consulter les formations correspondant à une offre
  • US36 : Permettre d'entrer une offre
  • US48 : Faire les services de droit d'authentification
  • US51 : Rajouter les pop-up de danger lors des supressions

• Choix des user-stories pour le sprint 4

Daily 12/03

Présents : Alicia, Antoine, Cécile, Héloïse, Romane

• Ce qui a été fait
  • (HF) Corrections dans le front (sauvegarde de données dans un service), travaillé sur le serveur (lancement automatique, scripts)
  • (AA) Correction erreur dans le front (màj contacts) et recherche par filière dans les données admin, page admin abandonnées
  • (QF) Rédaction test utilisateur, et documentation W2V et TensorFlow
  • (AG) Prétraitement en utilisant moins de RAM, Correction csv
  • (RG) Document routes

• Difficultés rencontrées
  • RAS

• Ce que nous allons faire
  • (AA) Affichage accuracy
  • (RG, AA) Tests du front en boite noire
  • (QF) Doc et scénarios
  • (AG) Doc
  • (HF) Commencer les diapos, correction des beugs
  • (RG) Script pour tester plusieurs hyper-paramètres

Autres réunions

Réunions de suivi

Réunion Skype du 06/02

Présents: Didier Donsez, Alicia, Antoine, Cécile, Héloïse, Romane

• Points Abordés
  • Avancement du projet et tâches effectuées
  • Discussion sur la récupération des données
  • Mise en garde sur l'ontologie (mots de même sens mais exprimés différemment) pour la constructions de nos descripteurs de fichiers

Soutenance de mi-parcours 14/02

Présents: Didier Donsez, Bernard Tourancheau, Alicia, Antoine, Cécile, Héloïse, Romane

• Slides

• Points abordés
  • Notre avancement
  • Notre planning
  • Remarques sur la présentation de notre avancement

• Remarques
  • Utilisation de Swagger ?

Réunions avec Disrupt' Campus

Réunion du 30/01

Présents: Gérard Pollier, Lucas Bisognin, Alicia, Antoine, Cécile, Romane

• Points Abordés
  • Présentation du projet Disrupt'Campus
  • Conseils sur la gestion de projet
  • Besoins pour le projet
    • Associer une offre à plusieurs profils
    • Apprentissage à partir des descriptions de compétences des formations
    • Facilité d'utilisation de notre application
• Actions
  • Livrer le SRS : Vendredi 02/02 à 17h
  • Livrer le product back-log : Lundi 05/02 à 14h

Réunion du 14/02

Présents: Gérard Pollier, Lucas Bisognin, Alicia, Antoine, Cécile, Héloïse, Romane

• Points abordés
  • Collecte des données
    • Ce que nous avons
    • Les actions pour avoir plus de données
      • IAE
      • INP
      • DLST
      • GEM
    • Les types de données nécessaires
  • Avancement du projet
    • Front-End
    • Conception IHM
    • Gestion de projet

• Actions
  • Contacter les responsables de filières pour les données (Disrupt campus)
  • Envoyer le format de données (AA) Aujourd'hui
  • Penser à relancer les clients/profs
  • Demander les notes des stages (AA)

Présentations de Veille Techno

Réunion du 30/01 pour présentation de TensorFlow vs DeepLearning4j

Présents: Alicia, Antoine, Cécile, Romane

• Points Abordés
  • Pertinence de TensorFlow, DeepLearning4j et PyTorch pour notre projet
  • QF : Présentation Slides
  • Choix de conserver TensorFlow, plus adapté aux projets d'innovation (plus grande communauté)

Réunion du 06/02 pour présentation des algorithmes de recommandation

Présents: Alicia, Antoine, Cécile, Héloïse, Romane

• Points Abordés
  • Filtrage collaboratif
    • Comparaison entre les offres et toutes celles de la base pour trouver la plus proche
    • Similarité entre la formation de la plus proches et des autres pour prédire une solution
    • Trop long à lancer pour nos exigences de performance
  • Association Rule-based
    • Calcule des règles logiques à partir de la base d'apprentissage
    • Prédiction plus rapide par la suite
  • QF : Présentation Slides
  • Choix d'utiliser la méthode Association Rule-based