Maschinengelernte Modelle haben prinzipielle Grenzen. Unter anderem deshalb ist es wichtig, die Ergebnisse etwa von Chatbots, die auf Large Language Models (LLMs) beruhen (wie ChatGPT), kritisch zu hinterfragen und ihnen nicht blind zu vertrauen. In der ersten Förderphase des Projekts wurde zunächst eine gemeinsame Sprache für Vertrauen und Misstrauen entwickelt. Eine empirische Untersuchung zeigte, dass Warnhinweise (Disclaimer) nicht ausreichen, um gesundes Misstrauen zu fördern. Daher haben die Projektbeteiligten aus Psychologie und Informatik neue Ansätze entwickelt, um Unsicherheiten von Modellen verständlich zu erklären. Darauf aufbauend entwickelt das Projektteam in der zweiten Förderphase gezielte Maßnahmen, um gesundes Misstrauen zu fördern, insbesondere am Beispiel der Unterstützung durch LLMs beim wissenschaftlichen Schreiben. Eine zentrale Rolle spielen sogenannte „perplexing explanations“, eine neu entwickelte Form von Erklärungen, die die Unzuverlässigkeit von LLMs illustrieren. Diese Erklärungen sollen im TRR 318 auch als automatische Methode eingesetzt werden, um die menschliche Autonomie im Umgang mit KI-Systemen zu stärken.

Forschungsgebiete: Informatik, Psychologie