Utiliser le numérique pour étudier les activités de groupe
Titre: Utiliser le numérique pour étudier les activités de groupe
Encadrant: Sybille CAFFIAU, LIG IIHM & DOMUS
Le Living Lab DOMUS (https://www.liglab.fr/fr/recherche/plateformes/domus) et la plateforme d’étude (https://www.univ-grenoble-alpes.fr/mind-and-body-movements-lab/) de l’UUAR MACI souhaitent mettre à disposition des outils numériques pour permettre aux chercheurs d’étudier l’impact de l’utilisation du virtuel dans la modification des comportements pour la réalisation des tâches de groupes. Plus spécifiquement, ce stage s’inscrit dans un projet dont l’objectif est de proposer une application de réalité virtuelle pour ces études. L'un des espaces proposés pour les études des activités de groupe est un grand plateau modulable de 63 m2 (Figure 1) équipé de capteurs et d’effecteurs. Dans l’objectif de permettre les études mèlant le virtuelle et le réél, il est nécessaire d’avoir une réplique virtuelle de cet espace et de ses équipements qui communique avec l’infrastructure réelle.
D’un point de vue technique, la réalisation de l’application reposera sur l’utilisation de Unity. Unity est une plateforme de développement en temps réel (https://unity.com/fr). Initialement développé pour permettre aux créateurs de jeux vidéos de travailler à la fois sur la création du contenu visuel et sur le développement (en C#) des aspects dynamiques et interactionnels, il est aujourd’hui utilisé dans de nombreux domaines (architecture, médical, film d’animation…). Unity propose de considérer différents moyens d’interaction pour s’adapter aux domaines d’utilisation et aux utilisateurs. En particulier, il prévoit la prise en compte des besoins spécifiques du développement pour les casques de réalité virtuelle (RV) tel que HTC VIVE.
Liste des tâches affectées aux élèves :
Tâches considérées comme obligatoire pour ce projet
- T0.1 : Prise en main d’unity (auto-formation à partir du programme de formation des développeurs d’Unity)
- T1.1 : Participation à la définition des spécifications des fonctionnalités de l’application Act’ivII.
- T1.2 : Définition du Project Design Document
- T2.1 : Développement de la V1 de Act’ivII. Cette version disposera de tous les aspects graphique de l’application (à partir de la V0) mais sera une application Android. Elles proposera les seules fonctionnalités de déplacement et de consultation des informations et aura pour modalité d’interaction le tactile.
- T1.3 : Démonstration de la V1 aux experts en GGG et mise à jour des spécifications.
Tâches du projet qui pourront être attribuées aux membres de l'équipe en fonction de l’avancement
- T0.2 : Prise en main du casque HTC VIVE et auto-formation pour le développement en réalité virtuelle (suivant le programme de formation des développeurs d’Unity)
- T2.2 : Développement de la V2 de Act’ivII. Cette version n’aura pas plus de fonctionnalités que la V1 mais sera adaptée à l’utilisation du casque de réalité virtuelle (changement de modalité d’interaction).
- T3.1 : Participation à la réalisation de tests d’utilisation pour le déplacement et la consultation de données de Act’ivII en RV.
Scénarios de participations virtuelles à des activités de groupe
Tous les scénarios se placent dans la situation suivante : Théo est un étudiant adulte qui, pour des raisons médicales ne peut pas se trouver dans la même salle que ses camarades avec lesquels il a une activité à réaliser. Nous considérerons que Théo se trouve dans l’appartement de DOMUS et que ses camarades (Joséphine, Sophie et Mehdi) se trouvent sur le plateau.
Scénario 1 : Théo rejoint le groupe
Théo met le casque et voit la salle où se situe les activités de groupe. Sa place est identifiée dans la salle de cours, c’est la chaise la plus proche de la porte. Sur l’image du casque celle-ci est visible en rouge. En sélectionnant la chaise dans la salle virtuelle, l’image s’approche (comme si Théo « volait » jusque la place), il se retrouve devant la chaise debout, prêt à s’asseoir. Lorsque Théo s’assoit dans le monde réél, sur la chaise devant sa table de salle à manger, le mode d’utilisation du casque passe à un mode « présence virtuelle ». Ce changement de mode est indiqué également aux membres du groupe en présence (par un son par exemple).
- T0 : prise en main d’Unity
- T1.1 : rédaction du Project Design Document pour ce scénario
- T1.2 : réalisation de la représentation 3D (avec compilation pour android et pour casque VR)
- T2.1 : interaction de deplacement par selection d’un objet (la chaise)
- T2.2 : détection de la position assise et changement de mode
- T2.3 : retours du changement de mode dans le plateau réél et dans le plateau virtuel
- T2.4 : tests utilisateurs
Le mode présence virtuelle implique que tous les acteurs de l’activité (en présence ou à distance, peuvent collaborer et échanger). Il faut donc que des échanges oraux soient possibles mais aussi qu’ils puissent partager visuellement certaines données.
Scénario 2 : Vue partagée
Théo peut choisir de voir ce que l’un des membres du groupe voit à condition que celui-ci porte des lunettes d’oculométrie. Josephine a accepté de partager sa vue sur l’activité. Théo choisit le mode vue partagé et aussitôt il partage la vue de Joséphine.
- T1.3 : rédaction du Project Design Document pour ce scénario
- T3.1 : affichage d’une vue partagée en ligne (étude de faisabilité technique puis réalisation)
- T3.2 : tests techniques
Scénario 3 : Partage de documents
Mehdi ne souhaitait pas partager sa vue de l’activité mais autorise Théo à voir l’ensemble des documents qu’il produit pendant la séance. Pour cela, il utilise une tablette repaper pour les production manuscrites. Il vient de terminer une maquette, Théo voit dans son casque qu’il peut la consulter, il quitte la vue partagée et à accès au croquis de Mehdi. Cela lui donne une autre idée, il utilise lui aussi sa tablette re-paper pour faire un sketch de cette idée puis le partage sur un écran partagé ce qui permet aux 3 autres membres de l’équipe de la voir. Il la commente à l’oral.
- T1.4 : rédaction du Project Design Document pour ce scénario
- T4.1 : partage d’une production manuscrite d’une tablette repaper vers un écran du plateau
- T4.2 : changement de vue (partagée ou non)
- T4.3 : intégration d’un document dans l’image virtuelle (en temps réél)
- T4.5 : récupération d’une image re paper pour ajout dans image virtuelle
- T4.6 : tests techniques
- T4.7 : selection d’un document parmi un ensemble
- T4.8 : notification d’un nouveau document disponible