Dialogue
Denis VERNANT (PLC)
Jean CAELEN (LIG)
Le programme de recherche sur le dialogue concerne le dialogue humain et le dialogue homme-machine. Il s’agit de modéliser la logique argumentaire du dialogue à travers les actes de langage. Par ailleurs le programme vise à utiliser la théorie des jeux pour formaliser le processus général de dialogue et l’appliquer aux interactions multimodales homme-machine.

PhonLex : Segmentation, liaison, psycholinguistique - Projet ANR

 Jean-Pierre CHEVROT (Lidilem)
Elsa SPINELLI (LPNC)
La délimitation des mots est particulièrement aigue en français car divers phénomènes tels que la liaison, l’enchaînement syllabique ou encore l’accentuation de groupe, ont amené de nombreux phonologues et phonéticiens à remettre en question la pertinence du mot au niveau phonique (…). L’objectif du projet PHONLEX, à partir du phénomène de la liaison en français, a été d’interroger le rapport entre phonologie et lexique de divers points de vue allant de la description à la cognition. A première vue, la liaison est un phénomène relativement simple : elle consiste en la prononciation d’une consonne orthographique dite « latente » devant un autre mot commençant par une voyelle (par exemple, petit écrou [ptitekru]). Cette consonne « latente » n’apparaît pas dans d’autres contextes (par exemple, petit canard [ptikanar]) mais fait corps avec le mot suivant (enchaînement syllabique) si elle est réalisée. Il est traditionnellement admis que les contextes de liaison se répartissent en trois catégories : obligatoires (nos_amis), facultatives (il est_ici, il est // ici) et interdites (*les gens_arrivent). La plupart des modèles ont articulé ces « observations » en termes théoriques, sans toutefois remettre en question divers présupposés qui les sous-tendent et sans prendre la pleine mesure de la forte variabilité, à la fois intra- et inter-locuteurs, qui caractérise ce phénomène. Un des objectifs du projet a été de fonder la réflexion sur une base empirique plus large et diversifiée que celle sur laquelle s’appuient les travaux existants. Les données obtenues dans le projet Phonologie du français contemporain (PFC) : usages, variétés et structure (Durand, Laks, Lyche) ont été élargies ce qui a constitué un grand corpus de français parlé et ont été confrontés à celles issues de l’acquisition et de la pathologie à partir d’expériences respectivement mises au point par les équipes Chevrot et Soum.

Voir et percevoir la parole en mouvement
Pierre BADIN (collaboration Gipsa-Lab/IFR 1)
La parole est le signal multimodal audible et visible qui résulte de la coordination précise des mouvements des articulateurs orofaciaux et permet la communication humaine. Depuis de nombreuses années, l’équipe étudie et caractérise les articulateurs de la parole plus ou moins visibles : mâchoire, lèvres, langue, voile du palais, larynx… Elle développe des modèles articulatoires qui représentent les formes et dimensions volumiques de ces divers articulateurs, à partir de données issues de l’imagerie médicale acquises sur des locuteurs, en mettant en évidence les degrés de liberté des mouvements observés sur des corpus d’articulations soigneusement conçus. Cette approche statique de bonne résolution spatiale permet de construire des clones orofaciaux ou encore têtes parlantes des locuteurs. Elle est complétée par une caractérisation de la cinématique de ces articulateurs lors de la production de parole, grâce à des techniques générales comme la stéréovision par vidéo ou l’imagerie ultrasonore, et des méthodes spécifiques à la parole comme l’articulographie électromagnétique. Ces données cinématiques permettent ensuite d’animer et donc de donner à voir les mouvements des articulateurs lors de la production de la parole. ot et Soum.

Rôle de l’information visuelle sur  la gestualité labiale dans la reconnaissance des mots en situation de communication face-à-face

Sonia KANDEL, Elsa SPINELLI, Mathilde FORT (LPNC)
Christophe SAVARIAUX, Nathalie VALLEE (Gipsa-Lab)
La perception de la parole est le plus souvent bimodale. Plusieurs études ont mis en évidence l’apport de la gestualité labiale dans la perception de phonèmes (cad la plus petite unité discrète ou distinctive en termes de sons permettant de distinguer des mots les uns des autres, exemple : cote et côte) en situation de bruit acoustique (Sumby et Pollack, 1954 ; Benoît, Mohamadi et Kandel, 1994) et également en situation de conflit perceptif (McGurk et Mac Donald, en 1976). L’objectif de ce travail est d’étudier l’apport des informations visuelles dans le processus de reconnaissance de mots. En effet, la plupart des recherches qui ont étudié le phénomène d’accès au lexique se sont uniquement intéressées au traitement auditif de la parole (Ganong, 1980 ; Cutler, Mehler, Norris et Segui, 1987 ; Frauenfelder, Segui et Dijkstra, 1990). A notre connaissance, seulement deux études ont étudié l’apport des gestes labiaux à la reconnaissance des mots (Sams, Manninen, Surakka, Helin and Kättö, 1998 ; Brancazio, 2004) en  situation de conflit perceptif (Effet McGurk). Cependant, leurs résultats sont contradictoires: l’étude de Brancazio a pu montrer que les informations visuelles contribuent à l’accès lexical, alors que celle de Sams et al suggérait le résultat inverse. Nous avons mis en place un paradigme de détection de phonèmes dans des mots et des pseudo-mots, présentés en modalité audiovisuelle ou auditive seule, avec différents niveaux de bruits dans le signal acoustique. Ce travail a été réalisé chez l’adulte et chez l’enfant en âge scolaire, avec des phonèmes cibles consonantiques et vocaliques. Nous avons également réalisé des études avec une tâche d’amorçage. Nos résultats montrent globalement que les informations visuelles permettent d’activer les représentations lexicales. Nos travaux suggèrent que voir le visage de notre interlocuteur permet non seulement de mieux percevoir les sons de parole mais aussi de reconnaître les mots contenus dans son énoncé.

Coordination geste/parole et développement linguistique de l’enfant – Projet soutenu par le Pôle en 2011
Marion DOHEN, Hélène LOEVENBRUCK, Anne VILAIN, Coriandre VILAIN (Gipsa-Lab)
Jean-Marc COLETTA (Lidilem)
La question de la nature des liens qui unissent parole et geste manuel permet de mieux comprendre la nature même du langage humain, l’histoire de son émergence et de son évolution dans l’espèce des primates humains, les processus qui permettent son développement chez l’enfant, entendant ou non, et les re-médiations possibles à l’absence d’une des modalités classiques de son usage : l’audition, la vision, la motricité. Ce projet inclut 3 études visant à comprendre la nature et l’évolution de cette coordination chez les enfants de 10 mois (âge des premiers gestes manuels communicatifs) à 7 ans (capacité discursive élaborée) :
-  fournir une chronologie de l’émergence de la coordination geste/parole (âges : 10 à 36 mois).
- faire une étude expérimentale de la coordination temporelle geste/parole, en lien avec la structure syntaxique et sémantique des énoncés (comparer des enfants de 3 à 7 ans et des adultes).
- étudier la coordination communicative geste/parole en interaction, grâce à un jeu interactif dans lequel l’un des participants doit indiquer à l’autre comment placer des images représentant des objets.

Modélisation bayésienne de la perception et de la production de la parole : simulation comparative et distinguabilité des modèles - Projet soutenu par le Pôle en 2011
Julien DIARD (LPNC)
Jean-Luc SCHWARTZ (Gipsa-Lab)
Pierre BESSIERE (LIP)
L’équipe développe des modèles mathématiques probabilistes des boucles perception-action, à la fois dans la communication entre paires d’agents et dans des sociétés d’agents en interaction. Plus précisément, elle applique des outils de modélisation bayésienne des boucles perception-action, qu’elle a développé précédemment dans les cadres de la robotique cognitive mobile et de la modélisation de la lecture et de l’écriture (voir, par exemple, le doctorat d’E. Gilet co-encadrée par P. Bessière et J. Diard). Seront abordés la modélisation réaliste des gestes de production de parole (production de syllabe), la comparaison des modèles de perception et de production de la parole (représentations des sons et des gestes de la parole et l’étude de la distinguabilité des modèles. Deux actions sont envisagées : l’invitation de Prof. M. Arbib (University of Southern California, USA) à Grenoble, courant 2011 et un soutien au doctorat de R. Laurent (séjours et conférences).

Connaissances linguistiques et connaissances sociales : exploration de la cognition sociolinguistique - Projet soutenu par le Pôle en 2011
Jean-Pierre CHEVROT (LIDILEM)
E. SPINELLI (LPNC)
Le contexte scientifique général voit se rapprocher les sciences de la cognition – qui modélisent et expliquent les mécanismes mentaux individuels et leur substrat cérébral – et les sciences sociales – qui étudient les collectifs humains et la façon dont ils émergent des comportements et représentations individuelles. La convergence de ces deux champs met à l’honneur le langage, propice à l’intégration des aspects sociaux et cognitifs du fait de sa nature à la fois collective et individuelle. Dans ce contexte, un enjeu fondamental est de comprendre la nature des relations qui s’établissent entre connaissances linguistiques et connaissances sociales. Comment le locuteur acquiert-il la variété sociolinguistique de son milieu d’origine et comment cet acquis évolue-t-il lors de la confrontation à d’autres milieux (mobilité professionnelle, scolarisation, réseau amical) ? Comment s’établit la relation entre telle unité ou construction linguistiques et telle connotation sociale (ruralité, masculinité, appartenance à une classe d’âge) ? Comment parvient-on à modifier notre façon de parler en fonction du contexte social et de l’interlocuteur ? Plus généralement, quels représentations et dispositifs mentaux lient connaissance de la langue et connaissance du monde social ? Sur ce thème qui s’impose comme une nouvelle voie de recherche à forte potentialité interdisciplinaire, les équipes françaises sont quasiment absentes. A notre connaissance, seul le laboratoire Lidilem compte une équipe travaillant sur cette thématique.

Vers une phonémotopie des voyelles du Français ? Analyse multivariée des activités neurales des voyelles du Français - Projet soutenu par le Pôle en 2012
Marc SATO (Gipsa-Lab)
Michel DOJAT, Mathieu RUIZ (GIN)
Bien qu’une distinction fonctionnelle entre région motrices frontales pour la production de la parole et régions auditives temporales pour la perception de la parole ait été initialement postulée, de nombreux modèles psycholinguistiques et neurobiologiques de la perception et/ou de la production de la parole appuient l’idée d’un couplage fonctionnel entre systèmes sensoriels et moteur. Le point commun de ces modèles est l’importance attribuée aux interactions sensorimotrices ce, aussi bien lors de la perception que lors de la production de la parole. Dans ce cadre théorique, une question fondamentale est celle de l’instanciation et du codage des représentations de parole au sein du système nerveux central. Cette étude s’inscrit dans la proposition théorique d’un couplage fonctionnel entre systèmes de perception et de production de la parole et d’un possible codage distribué sensorimoteur des représentations de la parole. Une précédente étude IRMf réalisée par l’un des partenaires a permis de démontrer une activation commune de régions motrices (cortex prémoteur et gyrus frontal inférieur) et auditive (région postérieure du gyrus supérieur temporal) lors de la perception et production de voyelles du Français (/i/, /y/, /u/, /e/, /ø/, /o/, /ɛ/, /oe/, /ɔ/). Cependant, par l’utilisation de méthodes d’analyse classique univariée, aucune différence topographique entre voyelles perçues ou entre voyelles produites n’a pu être mise en évidence. Il s'agit donc d'explorer ces données à l’aide de techniques d’analyse multivariées, plus robustes dans des régions d’intérêt de signaux faibles en utilisant ces données IRMf précédemment acquises. L'objectif étant de déterminer un possible codage distribué au sein des régions auditives et motrices de ces voyelles aussi bien en perception qu’en production.