L01 - Assistant virtuel et smart cockpit

L’axe de développement technologique « Assistant Virtuel et Smart Cockpit » porte sur la conception d’un cockpit plus intelligent, intégrant un agent appelé Assistant Virtuel, qui permettra d’augmenter les capacités opérationnelles de l’ensemble équipages-systèmes.

Afin d’améliorer la performance et d’économiser les ressources mentales et physiques des équipages (pilotes de chasse ou opérateurs de drones), le smart cockpit (ou la smart station de contrôle de drone depuis le sol) exploré dans le projet MMT devra tout d’abord être capable de s’adapter en permanence à la situation dans son ensemble. Pour cela, il est nécessaire que le système ait une connaissance accrue des différents états des équipages (e.g. mentaux, physiques) ainsi que du contexte de la situation (e.g. SItuation TACtique rencontrée, manoeuvres enclenchées). Cette connaissance, couplée aux interactions des équipages, devra permettre de modifier l’environnement d’interaction afin de répondre aux besoins de la mission dans les meilleures conditions.

L’avion piloté ou le drone de combat, au centre de ce système de combat futur, seront dotés de fonctionnalités supplémentaires augmentant l’étendue de leurs capacités. Pour cela, une des pistes est d’intégrer un assistant virtuel qui interagira de façon simplifiée et naturelle avec l’équipage. Cet assistant virtuel pourra, par exemple, réaliser des opérations de bas niveau coûteuses en ressources cognitives et sans réelle plus-value opérationnelle pour permettre à l’équipage de se consacrer pleinement à la gestion tactique de la mission ou encore, d’accéder facilement et rapidement aux connaissance du système (e.g., requête libre en langage naturel) pour faciliter une meilleure construction par l’équipage de la conscience de la situation.

Ainsi, ce smart cockpit libèrera des ressources mentales et physiques chez les équipages tout en les assistant intelligemment, ceci afin d’optimiser la conduite générale de la mission.

Description des Thèmes

T01 - Identification du contexte

La thématique « identification du contexte » fait référence à l’analyse et la compréhension en temps réel de la situation par le système. Cela comprend principalement l’identification de la situation tactique dans laquelle se trouve l’appareil (aéronef habité ou non) et l’identification des actions en cours de réalisation par les équipages. Une des problématiques porte sur la synthèse de ce contexte et la définition du bon niveau de granularité de ces informations. Cela permettra au système d’avoir connaissance de la situation, de s’adapter (cf. T03) ou d’enrichir les interactions avec les équipages (cf. L02)

T02 – Apprentissage du profil utilisateur

La thématique « apprentissage du profil utilisateur » porte sur un apprentissage par la machine des habitudes des équipages ainsi qu’une identification du profil de ces derniers. Le profil utilisateur correspond tant au niveau d’expertise qu’à l’expérience des équipages sur d’autres systèmes. Par exemple, un pilote de Mirage n’a pas forcément les mêmes habitudes que son homologue sur Rafale. Ainsi l’identification de ces différences interpersonnelles pourrait servir de base pour affiner et optimiser l’adaptation du système.

T03 – Identification de l’état opérationnel de l’équipage

Cette thématique concerne les différentes techniques permettant d’identifier la capacité d’un équipage à réaliser les tâches de sa mission. Il s’agit donc de recouper les différents états cognitifs et physiologiques de l’équipage avec les tâches à réaliser et le contexte de la mission (par exemple, quel est le niveau de danger de l’environnement tactique, ou encore quelles sont les conditions météo…). Cette thématique porte donc à la fois sur la définition de ces différents états opérationnels et des métriques associées et sur les techniques de classification de ces états au regard des tâches à réaliser.

T04 - Adaptation des tâches équipage et reconfiguration cockpit

Cette thématique s’intéresse aux adaptations contextuelles intelligentes du cockpit. En effet, les systèmes ont accès à de plus en plus d’informations portant sur le monitoring des équipages, ainsi que l’analyse et la compréhension de la situation. Il devient donc possible de concevoir un système qui s’adapterait automatiquement à ces éléments contextuels pour optimiser l’activité des équipages et garantir ainsi un haut niveau de performance, d’efficacité et d’efficience. Cette thématique concerne donc les reconfigurations du système en général et l’apprentissage automatique de ces reconfigurations. Il s’agit par exemple d’adapter l’allocation des tâches équipages en fonction du contexte (par exemple, augmenter le niveau d’autonomie du système), ou bien de reconfigurer globalement le cockpit (reconfiguration IHS ou reconfiguration système).

On distingue trois critères permettant d’adapter le cockpit :

  • En fonction de l’état des équipages : L’objectif est notamment d’éviter que les équipages se retrouvent dans des états précurseurs de perte de performance dans le pilotage ou la prise de décision. Le cas échéant, cela peut également comprendre des méthodes permettant d’aider les équipages à sortir de ce genre d’état afin de revenir à état de maîtrise optimal de la situation. (ex : définition des reconfigurations du système adaptées à l’état courant de l’équipage, répartition des tâches entre l’équipage et le système, partage d’autorité, feedbacks/notifications innovant(e)s pour informer les équipages de leur état et de l’adaptation des systèmes).

 

  • En fonction du contexte/de la situation : L’objectif est de permettre l’adaptation des systèmes en termes d’affichage d’informations, de répartition des tâches, de partage d’autorités, ou autres en fonction de l’évolution en temps réel de la mission, de la situation ou des actions des équipages (cf. T01),

 

  • En fonction du profil de l’utilisateur : L’objectif est d’adapter et d’optimiser l’utilisation du système (affichage d’informations, répartition des tâches, partage d’autorités, etc.) en fonction des habitudes ou de l’expérience de l’utilisateur (expertise de vol, expérience sur différents types d’avions, etc.) (cf. T02).

T05 - Prédiction des intentions des équipages

La thématique « prédiction des intentions des équipages » concerne les outils d’anticipation des intentions des équipages (court/moyen/long terme) de façon à faciliter l’enchaînement des tâches de la mission. Ces outils s’appuieraient sur un processus d’apprentissage (mono/multi opérateur/pilote(s)) ainsi qu’une analyse en ligne des interactions avec les équipages et du contexte de la mission. L’objectif est ainsi d’aider l’équipage à gérer les actions nécessaires au bon déroulement de la mission et potentiellement de suggérer des actions complémentaires.

T06 - IA transparente

Alors que les systèmes embarquent de plus en plus de systèmes d’aide, de fonctionnalités et deviennent ainsi de plus en plus capables d’épauler intelligemment l’opérateur dans son activité, une des conséquences est l’augmentation de la complexité de ces systèmes. Notamment, l’introduction d’algorithmes d’intelligence artificielle dans le système a tendance à créer des « boîtes noires » qui ne permettent pas, a priori, d’expliciter facilement les choix du système. Dans ce cadre-là, cette thématique s’intéresse à tout ce qui pourrait permettre de rendre plus transparent et de justifier les traitements complexes faits par la machine notamment pour les systèmes d’aide à la décision. Par exemple, lorsque la machine propose à l’équipage une liste réduite de choix, il est nécessaire de présenter les raisons ou critères qui ont mené à cette proposition de choix de manière transparente et structurée. Ainsi cela doit permettre à l’équipage d’améliorer sa conscience de la situation et d’éviter de prendre des décisions sous-optimales.

T07 - Gestion du dialogue naturel avec l’assistant virtuel (accès à la connaissance)

Cette thématique porte sur la gestion du dialogue entre l’assistant virtuel et les équipages de sorte à ce que les demandes formulées naturellement par ces derniers puissent mener au résultat escompté. Ces demandes pourraient être formulées directement en direction du système ou identifiées dans un flux de discussion intra ou inter-équipage.

Les problématiques concernent donc :

  • la compréhension de l’intention sémantique d’une requête formulée en langage naturel « équipage »
  • la gestion d’un dialogue cohérent des activités de conduite de la mission de l’équipage
  • ainsi que la génération automatique de réponses en langage naturel « équipage » à partir des éléments de connaissance identifiés comme pertinents

 

Une des étapes cruciales est la transformation de la signification sémantique des demandes orales des équipages en requêtes permettant l’accès aux informations connues de la machine. De cette manière, les recherches d’informations, qui sont des actions complexes pour l’opérateur, seraient effectuées par l’assistant virtuel, facilitant ainsi l’accès aux connaissances des systèmes. Cela permettrait d’économiser les ressources nécessaires à ces recherches, et permettrait un accès plus rapide et fréquent à un nombre important d’informations augmentant par conséquent la conscience de la situation des équipages.

T08 – Représentation de la connaissance (locale ou globale)

Cette thématique concerne la structuration des connaissances accessibles par le système de sorte à garantir un accès aux informations rapide, sécurisé et résiliant. Le système de combat futur enregistrera et aura accès à un nombre très important d’informations de différentes natures (e.g. la connaissance du système aérien lui- même, de la patrouille, de la SITAC ; la connaissance des règles d’engagement ; la connaissance de la météo ; etc.). Pour permettre aux équipages d’accéder de manière efficace, efficiente et satisfaisante aux informations dont ils ont besoin, cette base de connaissances doit être organisée et structurée de manière optimale. Cela signifie par exemple stocker, classifier et organiser les informations pertinentes et mettre en relation des connaissances hétérogènes. Cette thématique concerne donc les techniques de représentation de la connaissance, ainsi que de structuration et de répartition de cette connaissance au sein du dispositif. Elle concerne également les différentes techniques d’apprentissage permettant d’enrichir cette base de connaissance à la suite de missions.