ChatGPT ist ein KI-System, das auf einem Sprachmodell basiert und automatisch Texte generieren kann. Wie das funktioniert und was ChatGPT noch nicht kann, aber vielleicht in Zukunft, erzählt Professor Dr. Henning Wachsmuth. Der Computerlinguist leitet zwei Teilprojekte im TRR 318 und forscht an der Leibniz Universität Hannover zu maschineller Sprachverarbeitung.
TRR 318: Was ist das technisch Besondere an ChatGPT?
Henning Wachsmuth: ChatGPT verwendet ein so genanntes Sprachmodell, das auf Basis von Milliarden von Texten gelernt hat, welche Wörter typischerweise nacheinander auftreten, wobei der vorangehende Text als Kontext für den folgenden Text dient. Wenn nun ein neuer Text von einem Menschen eingegeben wird, antwortet ChatGPT darauf mit den laut seinem Sprachmodell wahrscheinlichsten nächsten Wörtern, das heißt, es führt den Text einfach fort. Was ChatGPT besonders macht, ist – neben der Größe und Qualität der Daten, von denen es gelernt hat –, dass es speziell dahingehend trainiert wurde, typische Dialogantworten zu generieren und dabei all sein Wissen über den vorangehenden Kontext zu nutzen.
Wie geht ChatGPT auf Nachfragen von Nutzer*innen ein?
HW: Hier kommt die Nutzung des vorangehenden Kontextes besonders zum Tragen. ChatGPT berücksichtigt nicht nur die Nachfrage, sondern auch alles, was vorher im Dialog gesagt wurde – bis zu einer bestimmten Maximallänge. Dadurch kann es Querbezüge zwischen den verschiedenen Inhalten des Dialogs herstellen. Gleichzeitig verwendet es all die Informationen, die es beim Lernen der Textgenerierung gesehen hat, um eine möglichst adäquate Antwort zu liefern. Wie eindrucksvoll das häufig funktioniert, bleibt aber auch für mich als Forscher im Bereich der maschinellen Sprachverarbeitung erstaunlich – selbst, wenn nicht jeder generierte Text faktisch korrekt ist.
Wäre es möglich, Chatbots zu entwickeln, die ebenso Fragen an die Nutzer*innen stellen und dadurch auf den Wissensstand zugeschnittene Antworten geben können?
HW: ChatGPT wurde tatsächlich vor allem dafür trainiert, Antworten auf anweisungsartige Anfragen zu geben. Im Prinzip ist es genauso möglich, Chatbots auch systematisch Fragen stellen zu lassen, etwa um Unklarheiten zu beheben; manchmal tut ChatGPT das bereits. Wenn Chatbots für vordefinierte Aufgaben entwickelt werden, können sie dabei auch eigene Ziele verfolgen. Ein Beispiel dafür ist eine von Google 2018 vorgestellte KI namens Duplex. Die KI kann eigenständig Termine, etwa mit Frisör*innen, machen und scheint zu erkennen, wann alle benötigten Informationen kommuniziert wurden. Viel schwerer wird es allerdings, wenn die Aufgaben nicht vordefiniert werden: Dann müsste der Chatbot eigene Ziele entwickeln, was zumindest ab einem gewissen Punkt ein eigenes Bewusstsein erfordern würde. Es ist umstritten, ob dies mit KI je möglich ist, wobei es zukünftig immer schwerer werden dürfte, den Unterschied zu erkennen.
ChatGPT steht noch am Anfang der Entwicklung. Welchen Einfluss haben Chatbots wie ChatGPT auf die Mensch-KI-Interaktion?
HW: Grundsätzlich ist zu erwarten, dass wir in immer mehr Situationen des Lebens mit KI kommunizieren werden, um Aufgaben zu lösen. Manchmal kann dies einfach dazu dienen, effizienter Informationen zu finden oder Texte zu erstellen. An anderer Stelle teilen wir der KI im Dialog Schritt für Schritt Informationen mit, damit diese für uns die Aufgaben ausführen kann, oder umgekehrt, die KI berät uns in Entscheidungsprozessen. Bislang scheitert KI noch an einigen dafür wichtigen Stellen; so wurde etwa ChatGPT nicht im Kern dafür ausgelegt, faktische Korrektheit zu erreichen. Ich gehe davon aus, dass viele der Probleme nach und nach behoben werden, so dass wir immer mehr Aufgaben schneller und besser lösen können werden. Aber es birgt natürlich auch Risiken, wenn sich nicht mehr unterscheiden lässt, was vom Menschen und was von einer KI kommt. Aus technischer Sicht lässt sich dem nur bis zu einem gewissen Punkt vorbeugen. Daher halte ich es für wichtig, dass alle Menschen zukünftig im Umgang mit KI geschult werden, zum Beispiel, in dem das Thema im Schulunterricht integriert wird oder als Teil der beruflichen Weiterbildung.
Sprachmodell
Ein Sprachmodell ist eine Repräsentation der Wahrscheinlichkeiten von Wortfolgen. Diese Wahrscheinlichkeiten werden aus riesigen Textsammlungen abgeleitet; auch für neue Wortfolgen gelingt dies durch Vergleich mit ähnlichen Wortfolgen. Für eine gegebene Wortfolge (z.B. einen Satz) lassen sich dann mit einem Sprachmodell die wahrscheinlichsten Folgewörter ermitteln und dadurch neue Texte erzeugen (z.B. ein Folgesatz). Der Satz dient dabei als Kontext, um zu bestimmen, welcher Folgesatz am besten passt.
Weitere Informationen:
- ChatGPT aus soziologischer Perspektive: „ChatGPT-ähnliche Technologien haben ein enormes Potenzial, die Welt zu verändern“ mit Nils Klowait
