IMMERSTAR - La réalité virtuelle immersive pour l'interaction, l'humain et l'expérimentation

IMMERSTAR - La réalité virtuelle immersive pour l'interaction, l'humain et l'expérimentationSous-projet 3 IMMEREXP : Plateformes pour la synthèse de geste et de parole expressifs

Les cofinancements

Contexte du projet

Un des challenges majeurs de la thématique de la réalité virtuelle (RV) est d'améliorer l'interaction des utilisateurs réels avec les objets du monde virtuel. L'interaction peut être le résultat d'une interaction individuelle d'un utilisateur avec un objet, mais aussi résulter de l'interaction en chaîne de différents objets, de l'interaction commune de plusieurs utilisateurs sur le même objet et encore de l'interaction entre des humains réels et des humains virtuels.

Notre but est de construire un pôle de réalité virtuelle de tout premier plan pour répondre à la question scientifique de permettre une interaction immersive et multimodale naturelle et de haute qualité dans des environnements virtuels. La réponse à cette question passe par l'amélioration de la multimodalité, de l'immersion, du rendu et de la perception haptique, de la capture de mouvement, de la modélisation des humains virtuels, de la prise en compte de la collaboration locale et distante et de l'expressivité.

Le projet IMMERSTAR est porté par plusieurs équipes de recherche, en particulier les équipes MimeTic, Hybrid et EXPRESSION, associées aux plateformes IMMERSIA (www.irisa.fr/immersia, sur le site de Beaulieu), IMMERMOVE (en cours de déploiement sur le campus de Ker Lann, ENS-UR2), et IMMEREXP (sur le campus de Tohannic, Université Bretagne Sud), de l'IRISA et du centre INRIA Rennes Bretagne-Atlantique. Ces équipes visent à parfaire le contrôle conjoint de différentes natures d'interaction pour atteindre l'objectif de l'interaction multimodale et à renforcer la qualité de la restitution perceptive pour proposer à l'utilisateur une meilleure immersion. L'utilisation d’environnements virtuels et augmentés permettra d'expérimenter des problématiques de collaboration locale ou distante sur le même environnement virtuel partagé de manière encore plus précise.

IMMEREXP : plateforme de capture de gestes haute définition sur le site de Tohannic, Université Bretagne Sud

L’originalité de la plateforme technique IMMEREXP de l’IRISA à l’UBS (site de Vannes) est de permettre l’étude plus spécifique de données gestuelles qui s’appuient sur des modèles de langues ou de langages expressifs (intégrant des aspects sémantiques, lexicaux, de prosodie, etc.). L’étude de ces données nécessite de se focaliser plus spécifiquement sur les mains ou les expressions faciales et d’enregistrer leurs mouvements qui sont particulièrement rapides et précis et présentent de nombreuses occultations.

L’objectif du projet CPER IMMEREXP est d’étendre les systèmes d’acquisition et de stockage de gestes au moyen d’une part de dispositifs haute fréquence et haute définition (système Qualisys composé de caméras infrarouges haute définition), et d’autre part de dispositifs low-cost (système Kinect, gants de données, etc.). Les applications cibles sont l’analyse et la synthèse de gestes expressifs très rapides et précis qui permettent de contrôler précisément des systèmes en temps réel : commande de robots, commande interactive de systèmes simulés en 3D, commande sonore. D’autres applications non temps réel s’appuient sur la constitution de corpus de gestes et de mouvements et l’acquisition de données haute définition corporelles, manuelles et faciales (gestes des langues des signes). D’un point de vue scientifique, le développement massif des systèmes de capture du mouvement a permis l’acquisition et le stockage de masses de données de mouvement et la constitution de bases de données indexées permettant l’exploitation et la manipulation de ces données à travers des modèles d’analyse statistique, de classification et de synthèse.
Ce projet relève du domaine 4 « Technologies pour la société numérique », fiche 4B « Images et Contenus » tels qu'identifiés dans le document de travail « Fiches de 33 sous-domaines de la S3 Bretagne », version de juin 2013.  Des applications sont identifiées dans le domaine 1 « Innovations sociales et citoyennes pour une société ouverte et créative », et en particulier pour la fiche 1B «E-education et e-learning».

Dans le cadre des formations proposées à l’UBS, la plateforme numérique IMMEREXP vient également appuyer le parcours de master informatique « Applications Interactives et Données Numériques » labellisé CMI du département « mathématiques-informatique-statistique ».