Projekt A02: Verstehensprozess einer Erklärung beobachten und auswerten

Wenn Menschen etwas erklärt bekommen, signalisieren sie ihr Verstehen oder Nicht-Verstehen zum einen mit verbalen Äußerungen und zum anderen mit nichtverbalen Kommunikationsmitteln, wie beispielsweise Gestik und Mimik. Wer nickt, kann der erklärenden Person verdeutlichen, dass er*sie verstanden hat. Das Nicken kann aber ebenfalls als Aufforderung gemeint sein, mit einer Erklärung fortzufahren, und ist im Kontext des Gesprächs einzuschätzen. Die Linguist*innen und Computerlinguist*innen untersuchen im Projekt A02, wie Personen – und zukünftig Maschinen – beim Erklären erkennen, dass ihre Gesprächspartner*innen sie verstehen oder nicht verstehen. Dafür betrachtet das Forschungsteam 80 Dialoge, in denen eine Person einer anderen ein Gesellschaftsspiel erklärt. Diese untersuchen die Wissenschaftler*innen auf kommunikative Feedbacksignale, die auf verschiedene Grade des Verstehensprozesses hindeuten. Die Ergebnisse aus den Analysen fließen in ein intelligentes System ein, das in der Lage sein soll, Feedbacksignale wie Kopfnicken zu erfassen und bezüglich des signalisierten Verstehens zu interpretieren.

 

Forschungsgebiete: Informatik, Linguistik

Projektleitung

Prof. Dr.-Ing. Hendrik Buschmeier, (Juniorprofessor)

Mehr zur Person

Dr. Angela Grimminger

Mehr zur Person

Prof.Dr. Petra Wagner

Mehr zur Person

Mitarbeiter*innen

Stefan Lazarov, M.A.

Mehr zur Person

Dr. Olcay Türk

Mehr zur Person

Hilfskräfte

Melanie Braun, Universität Bielefeld

Nataliya Bryhadyr, Universität Bielefeld

Dominique Hofmann, Universität Bielefeld

Gülali Kücük, Universität Paderborn

Evelyn Neufeld, Universität Paderborn

Hannah Pfenningsberg, Universität Bielefeld

Alina Riechmann, Universität Bielefeld

Jule Wolff, Universität Paderborn

Pos­ter

Konferenz-Poster präsentiert auf dem Symposium Series on Multimodal Communication 2023 mit dem Titel "An Unsupervised Method for Head Movement Detection" von Yu Wang und Hendrik Buschmeier.

Konferenz-Poster präsentiert auf dem Symposium Series on Multimodal Communication 2023 mit dem Titel "The relation between multimodal behaviour and elaborartions in exlpanations" von Stefan Lazarov und Angela Grimminger.

Pu­bli­ka­ti­o­nen

Modeling Feedback in Interaction With Conversational Agents—A Review

A. Axelsson, H. Buschmeier, G. Skantze, Frontiers in Computer Science 4 (2022).


Does listener gaze in face-to-face interaction follow the Entropy Rate Constancy principle: An empirical study

Y. Wang, H. Buschmeier, in: Findings of the Association for Computational Linguistics: EMNLP 2023, Singapore, 2023, pp. 15372–15379.


Predictability of understanding in explanatory interactions based on multimodal cues

O. Türk, S. Lazarov, Y. Wang, H. Buschmeier, A. Grimminger, P. Wagner, in: Proceedings of the 26th ACM International Conference on Multimodal Interaction, San José, Costa Rica, n.d.


How much does nonverbal communication conform to entropy rate constancy?: A case study on listener gaze in interaction

Y. Wang, Y. Xu, G. Skantze, H. Buschmeier, in: Findings of the Association for Computational Linguistics ACL 2024, Bangkok, Thailand, 2024, pp. 3533–3545.


A model of factors contributing to the success of dialogical explanations

M. Booshehri, H. Buschmeier, P. Cimiano, in: Proceedings of the 26th ACM International Conference on Multimodal Interaction, ACM, San José, Costa Rica, n.d.


Turn-taking dynamics across different phases of explanatory dialogues

P. Wagner, M. Włodarczak, H. Buschmeier, O. Türk, E. Gilmartin, in: Proceedings of the 28th Workshop on the Semantics and Pragmatics of Dialogue, Trento, Italy, 2024, pp. 6–14.


Conversational feedback in scripted versus spontaneous dialogues: A comparative analysis

I. Pilán, L. Prévot, H. Buschmeier, P. Lison, in: Proceedings of the 25th Meeting of the Special Interest Group on Discourse and Dialogue, Kyoto, Japan, 2024, pp. 440–457.


Towards a Computational Architecture for Co-Constructive Explainable Systems

M. Booshehri, H. Buschmeier, P. Cimiano, S. Kopp, J. Kornowicz, O. Lammert, M. Matarese, D. Mindlin, A.S. Robrecht, A.-L. Vollmer, P. Wagner, B. Wrede, in: Proceedings of the 2024 Workshop on Explainability Engineering, ACM, 2024, pp. 20–25.


Towards a BFO-based ontology of understanding in explanatory interactions

M. Booshehri, H. Buschmeier, P. Cimiano, in: Proceedings of the 4th International Workshop on Data Meets Applied Ontologies in Explainable AI (DAO-XAI), Santiago de Compostela, Spain, n.d.


Automatic reconstruction of dialogue participants’ coordinating gaze behavior from multiple camera perspectives

A.N. Riechmann, H. Buschmeier, in: Book of Abstracts of the 2nd International Multimodal Communication Symposium, Frankfurt am Main, Germany, 2024, pp. 38–39.


Alle Publikationen anzeigen