Verstehensprozess einer Erklärung beobachten und auswerten (Projekt A02)

Wenn Menschen etwas erklärt bekommen, signalisieren sie ihr Verstehen oder Nicht-Verstehen zum einen mit verbalen Äußerungen und zum anderen mit nichtverbalen Kommunikationsmitteln, wie beispielsweise Gestik und Mimik. Wer nickt, kann der erklärenden Person verdeutlichen, dass er*sie verstanden hat. Das Nicken kann aber ebenfalls als Aufforderung gemeint sein, mit einer Erklärung fortzufahren, und ist im Kontext des Gesprächs einzuschätzen. Die Linguist*innen und Computerlinguist*innen untersuchen im Projekt A02, wie Personen – und zukünftig Maschinen – beim Erklären erkennen, dass ihre Gesprächspartner*innen sie verstehen oder nicht verstehen. Dafür betrachtet das Forschungsteam 80 Dialoge, in denen eine Person einer anderen ein Gesellschaftsspiel erklärt. Diese untersuchen die Wissenschaftler*innen auf kommunikative Feedbacksignale, die auf verschiedene Grade des Verstehensprozesses hindeuten. Die Ergebnisse aus den Analysen fließen in ein intelligentes System ein, das in der Lage sein soll, Feedbacksignale wie Kopfnicken zu erfassen und bezüglich des signalisierten Verstehens zu interpretieren.

Axelsson, A., Buschmeier, H. and Skantze, G. (2022) Modeling Feedback in Interaction With Conversational Agents - A Review. Front. Comput. Sci. 4:744574. doi: 10.3389/fcomp.2022.744574

Lazarov, S., Grimminger, A. (2023) The Relation Between Multimodal Behaviour And Elaborations In Explanations. Poster zum "1st International Multimodal Communication Symposium". Poster anzeigen

Wang, Y., Buschmeier, H. (2023) An Unsupervised Method for Head Movement Detection. Poster anzeigen