Die Forschenden des Teilprojekts A02 „Verstehensprozess einer Erklärung beobachten und auswerten“ haben über 150 Stunden Audio- und Videomaterial von Erklärsituationen aufgezeichnet und in einem Korpus festgehalten. Der sogenannte Mundex-Korpus wurde auf dem ersten Internationalen Symposium für Multimodale Kommunikation in Barcelona vorgestellt.
„Mit dem Korpus haben wir eine umfangreiche Sammlung von Erklärdialogen erstellt. Jetzt gilt es, die einzelnen Dialoge sprachlich zu kodieren und die dabei aufgetretenen multimodalen Signale wie Kopfnicken oder Handgesten zu klassifizieren“, sagt Sprachwissenschaftler Stefan Lazarov vom Projekt A02. „Damit können wir im nächsten Schritt die Beziehung zwischen diesen Signalen und den zugehörigen Erklärfragmenten untersuchen. Mit den Ergebnissen unserer Studie tragen wir zu einem besseren Verständnis von Verstehensprozessen in Erklärungen bei.“
Um das Material zu gewinnen, führten die Forschenden sowie studentischen Mitarbeitenden des Teilprojekts A02 eine Videostudie durch, in der zwei Teilnehmenden sich gegenseitig ein Brettspiel erklären sollten. Insgesamt 87 dieser Interaktionen zeichneten die Beteiligten im Tonstudio der Fakultät für Linguistik und Literaturwissenschaft der Universität Bielefeld auf. In jeder Interaktion erklärte dabei zunächst ein*e Sprecher*in einer anderen Person die Regeln des Brettspiels, anschließend spielten sie es gemeinsam. Danach schauten sich beide die Aktionen und Reaktionen der Person an, der das Spiel erklärt wurde, und kommentierten sie.
Die Erkärsituationen wurden im Studio aus mehreren Perspektiven mit Kameras aufgezeichnet, um möglichst viele nonverbale Kommunikationssignale visuell zu erfassen. Mikrofone ermöglichten die Dokumentation auf sprachlicher Ebene. Nun führen die Beteiligten eine halbautomatische Transkription der Dialogsegmente durch und annotieren Gesten und Blicke, akustische Informationen wie Tonhöhe sowie den Diskurs einzelner Segmente. Die Ergebnisse werden im Mundex-Korpus festgehalten.
Mundex steht für „multimodal understanding of explanations“, auf Deutsch „multimodales Verständnis von Erklärungen“. Es stellt damit Daten bereit, die künftig für die Modellierung von Verstehensprozessen in Erklärsituationen genutzt werden können. Ziel ist es, die Modelle für die Gestaltung von erklärbarer Künstlicher Intelligenz (KI) einzusetzen und damit die Mensch-Maschine-Kommunikation zu verbessern. Gleichzeitig trägt das Korpus für ein besseres Verständnis bei, wie Menschen in Interaktionen ihre Erklärstrategien anpassen.
Weiterführende Links:
- Über den Mundex-Korpus (Artikel auf Seite 62 der Datei)
