Im Rahmen des zweiten Internationalen Symposiums für Multimodale Kommunikation (MMSYM 2024) in Frankfurt wird die Bielefelder Professorin Dr. Petra Wagner, Projektleiterin von A02, eine Keynote halten. Bei dem Vortrag zum Thema „The multimodal expression of (non-)understanding in dyadic explanations – some lessons learned“ steht die Forschung des A02-Projekts im Fokus.
Während einer Erklärung verlassen sich Erklärende auf das Feedback der Zuhörenden hinsichtlich ihres Verständnisses und ihrer kognitiven Belastung oder Aufmerksamkeit. Basierend auf einer Vielzahl verbaler und non-verbaler Rückmeldungen können Erklärende ihre Strategie dynamisch anpassen, indem sie beispielsweise das Tempo ändern, Teile der Erklärung wiederholen oder auslassen oder den Fokus der Erklärung verschieben.
„In meinem Vortrag werde ich über Erkenntnisse aus dem TRR318 „Constructing Explainability“ Teilprojekt A02 zum Thema „Monitoring the understanding of explanations“ berichten, in dem wir multimodale Signale des (Nicht-)Verstehens in Erklärungen sammeln und untersuchen, wie sie sich im Laufe laufender Erklärungen entwickeln und wie sie interpretiert und darauf reagiert wird.“, erklärt Professorin Wagner.
Thematisiert werden unter anderem die Aufzeichnung und reichhaltige multimodale Annotation eines Korpus von 87 dyadischen Brettspiel-Erklärungen. Außerdem sollen anhand einer Erinnerungsaufgabe mehr Informationen über die Annotation verschiedener Ebenen des (Nicht-)Verstehens gezeigt werden. Ein weiterer thematischer Schwerpunkt wird die Dynamik des Floor-Managements über verschiedene Phasen der Erklärungen hinweg sein. Professorin Wagner erläutert außerdem: „Ich werde einige Erkenntnisse darüber präsentieren, wie Erklärer ihr multimodales Verhalten an verschiedene Explainees anpassen, und zeigen, wie verbale und nonverbale Informationen in einem Modell zur Klassifizierung des Verstehens beziehungsweise Nicht-Verstehens kombiniert werden. Dabei werde ich auch auf die verschiedenen Herausforderungen eingehen, mit denen wir konfrontiert waren.“
Petra Wagner ist Professorin für Phonetik und Leiterin der Arbeitsgruppe Phonetik an der Universität Bielefeld. Ihre Forschungsschwerpunkte sind Phonetik, Prosodie und multimodale Prosodie sowie Sprachsynthese, konversationelle Sprechakte und Mensch-Maschine-Interaktion. Das Symposium findet vom 25. bis 27. September 2024 statt.
