Projekt C01: Gesundes Misstrauen in und durch Erklärungen
Systeme mit Künstlicher Intelligenz (KI) machen Fehler: Die Gitarre im Raum wird als Mensch erkannt, die Bahnverbindung führt zu einem falschen Zielort oder das große, rote Feuerwehrauto wird von der KI übersehen. In diesen Situationen und vor allem bei Empfehlungen für Entscheidungen sollten Menschen der KI ein gesundes Misstrauen entgegenbringen. Die Projektmitglieder untersuchen das Konzept des Misstrauens aus einer psychologischen sowie einer technischen Sicht. In psychologischen Experimenten soll herausgefunden werden, ob es ein gesundes Misstrauen gibt und durch welche äußeren Variablen es gefördert werden könnte. Ein technisches Ziel ist, dass KI-Systeme auf mögliche Unstimmigkeiten zwischen Maschine und Mensch hinweisen und diese erklären können.
Forschungsgebiete: Informatik, Psychologie
Hilfskräfte
Valeska Behr, Universität Paderborn
Oliver Debernitz, Universität Paderborn
Konstantin Gubenko, Universität Paderborn
Publikationen
Trust, distrust, and appropriate reliance in (X)AI: A conceptual clarification of user trust and survey of its empirical evaluation
R. Visser, T.M. Peters, I. Scharlau, B. Hammer, Cognitive Systems Research (2025).
Interacting with fallible AI: Is distrust helpful when receiving AI misclassifications?
T.M. Peters, I. Scharlau, Frontiers in Psychology 16 (2025).
Assessing healthy distrust in human-AI interaction: Interpreting changes in visual attention.
T.M. Peters, K. Biermeier, I. Scharlau, (2025).
Explaining Outliers using Isolation Forest and Shapley Interactions
R. Visser, F. Fumagalli, E. Hüllermeier, B. Hammer, in: Proceedings of the European Symposium on Artificial Neural Networks (ESANN), 2025.
The Importance of Distrust in AI
T.M. Peters, R.W. Visser, in: Communications in Computer and Information Science, Springer Nature Switzerland, Cham, 2023.
“I do not know! but why?” — Local model-agnostic example-based explanations of reject
A. Artelt, R. Visser, B. Hammer, Neurocomputing 558 (2023).
Explaining Reject Options of Learning Vector Quantization Classifiers
A. Artelt, J. Brinkrolf, R. Visser, B. Hammer, in: Proceedings of the 14th International Joint Conference on Computational Intelligence, SCITEPRESS - Science and Technology Publications, 2022.
Model Agnostic Local Explanations of Reject
A. Artelt, R. Visser, B. Hammer, in: ESANN 2022 Proceedings, Ciaco - i6doc.com, 2022.
Alle Publikationen anzeigen
