L02 - Interactions

Dans le domaine Interactions des plates-formes aéronautiques, les années 90 ont été l’avènement d’un niveau de modernisation autour du glass cockpit, des moyens d’interactions en rupture (tactile notamment) et des viseurs/visuels de casque. Le début des années 2000 a principalement permis des optimisations des Interfaces Homme Machine sans évolution significative des cockpits.

Par exemple, le cockpit du Rafale a conservé son organisation initiale avec :

  • des affichages et interactions court terme : commandes HOTAS (Hands On Throttle-And-Stick) et CTH (Collimateur Tête Haute) collimaté à l’infini permettant le pilotage et la conduite de mission Eyes Out ;
  • des affichages et interactions moyen terme : alidade et CTM (Collimateur Tête Moyenne). Le CTM est collimaté à quelques mètres pour diminuer le travail oculaire lors du passage du CTH au CTM. Ces éléments permettent de réaliser les actions moyen terme autour de la SITAC (SItuation TACtique) ;
  • des affichages et interactions long terme : commandes tactiles et VTL (Visu Tête Latérale) pour la (re)préparation de la mission et des armements ainsi que le contrôle des systèmes de l’avion.

 

Dans le contexte actuel de complexité opérationnelle accrue conduisant à un besoin de ressources cognitives important, l’équipage peut devenir un facteur limitant de l’emploi des systèmes.

Par ailleurs, la réduction de la complexité perçue par l’utilisateur devient cruciale. Plusieurs ruptures peuvent être explorées :

  • une redéfinition de la RHS (Relation Homme(s)-Système(s)) par la recherche de moyens garantissant l’efficacité de l’équipage de combat (utilisation de système expert, collaboration plus étroite Homme Machine pour construire la SA – Situation Awareness, mise en œuvre d’assistants semi-autonomes) ;
  • la prise en compte d’une dimension collaborative de la RHS ;
  • la mise en œuvre centralisée et supervisée de moyens de présentation et d’interactions intuitives, multimodales voire

T01 - Monitoring de l’équipage

La thématique « monitoring de l’équipage » porte sur la surveillance en temps réel des états des opérateurs (État physiologique et Cognitif de l’équipage) impliqués dans le système considéré (pilotes, navigateurs mais également opérateurs drones, contrôleur aérien, etc..). Les éléments d’intérêt à surveiller sont notamment l’incapacité de l’opérateur (partielle telle que la désorientation spatiale ou totale), l’hypovigilance, la tunnelisation attentionnelle, le niveau d’engagement attentionnel, la charge mentale, le stress et la conscience de la situation.

Cette thématique est une des entrées utilisée par le thème « L01-T03 – Identification de l’état opérationnel de l’équipage ».

L’analyse du comportement, des marqueurs neurophysiologiques, des indicateurs de performance des opérateurs et des capteurs embarquables dans un avion d’arme sont donc concernés par cette thématique.

T02 - Dispositifs d'interaction

La thématique « dispositifs d’interactions » porte sur les périphériques innovants permettant de nouvelles formes d’interactions.

On trouvera par exemple l’étude :

  • de représentations visuelles 3D voire 5D qui combinent la présentation des informations dans les 3 dimensions géographiques avec des dimensions supplémentaires telles que le temps et la consommation des ressources (ex : fuel) ;
  • de la réalité augmentée et de ses interactions, notamment pour la collaboration entre la tête haute (EYES OUT) et la tête basse (EYES IN) ;
  • de technologies d’imageurs pour une utilisation tête basse telles que les grands écrans reconfigurables, de forme libre (courbure/contour libres) et pour une utilisation tête haute telles que des imageurs

T03 – Interactions multimodales

L’objectif est de combiner des modalités d’interaction (eye tracking, gesture, direct voice input, reconnaissance d’écriture, synthèse vocale, dialogue langage naturel, etc.) afin d’optimiser la prise en compte des actions des opérateurs. La multimodalité permettrait de gagner en sécurité, résilience et précision (e.g. touché de Midas) en levant l’ambiguïté sur les intentions de l’opérateur.

Une des problématiques porte sur la conception d’une plateforme multimodale qui devrait offrir la possibilité d’ajouter de nouveaux moyens d’interaction sans remettre en question l’architecture.

 

T04 – Dialogue et interactions naturels

L’objectif est l’étude des formes de dialogue « écologiques1 » entre tous les acteurs du système (Opérateurs au sol, Opérateurs embarqués, Assistants virtuels). On voit apparaître des notions telles que les interfaces orientées vitesse, les interfaces collaboratives (partagées entre tous les acteurs) et les dialogues entre l’équipage et la machine en incluant tout ce qui permet d’interagir en confiance avec une IA.

T05 - Reconnaissance vocale et synthèse vocale

Une des modalités d’interactions les plus naturelles pour l’Homme est la communication orale. Le développement des systèmes de reconnaissance vocale et de synthèse vocale est à étudier  dans les environnements particulièrement bruités  tel qu’un cockpit d’avion de chasse. L’utilisation d’accentuations et d’intonations spécifiques pourrait être envisagé avec comme objectif de contextualiser le message à faire passer.

T06 – Remote cockpit

La dimension collaborative de la Relation Homme(S) Système(S) amène à des contrôles à distance des systèmes.

Le contrôle à distance déjà existant est celui des drones depuis une station sol. Une première question à instruire va donc être : Que retenir dans les interactions embarquées pour un opérateur sol d’un drone ?

Nous souhaitons étendre cette notion de contrôle à distance et réfléchir à la prise de contrôle par le pilote d’un chasseur des capteurs, de l’armement voire du pilotage d’un autre appareil (chasseur ou drone). Il s’agit donc d’imaginer les techniques d’interactions et de représentation d’un système collaboratif en s’inspirant, par exemple, des techniques utilisées dans les jeux vidéo multi utilisateurs.