Chain of Thought Prompting:  Nun doch keine Black-Box? Wenn die KI uns ihr Vorgehen offenbart

Dieser wissenschaftliche Beitrag stellt am Beispiel des KI-Sprachmodells GPT-3 von OpenAI dar, wie bei Aufgabenstellungen der Weg zur Lösung durch die Erzeugung einer Gedankenkette („Chain of Thought“, Abk.: CoT) mithilfe spezifischer Eingabeaufforderungen („Prompts“) transparent gemacht werden kann (Wei et al. 2022; Kojima et al. 2022). Das Beispiel illustriert die Fähigkeit großer Sprachmodelle („Large Language Models “), den vermeintlichen Lösungs- oder Antwortprozess schrittweise und nachvollziehbar transparent zu machen.

Was verbirgt sich hinter dem Begriff und der Zielsetzung des „Prompting“? 

Das „Prompting“ ist im Umgang mit großen Sprachmodellen von entscheidender Bedeutung, denn mit diesem Verfahren wird durch Formulierungen in natürlicher Sprache die Ausgabe von Sprachmodellen maßgeblich gesteuert. Das Ziel des „Prompt-Designs“ bzw. „Prompt-Engineerings“ ist, die geeignetste inhaltliche und formale Struktur für einen Prompt zu finden, die es dem Sprachmodell ermöglicht, die gestellte Aufgabe möglichst gut zu lösen (Liu et al. 2021). Kleine Ergänzungen am Prompt können hierbei zu einer qualitativ besseren Ausgabe führen. Einen deutlichen Effekt hat die Ergänzung „Denken wir Schritt für Schritt…“ oder einer Form davon, in der deutlich wird, dass ein schrittweises Vorgehen nötig ist. Das Sprachmodell wird dadurch angeregt, ein schrittweises Vorgehen zur Lösung einer Aufgabe darzustellen und auf diese Weise seine vermeintliche Gedankenkette (CoT) für die Anwender sichtbar zu machen.

Welchen Nutzen zeigt das „CoT-Prompting“? Ein Praxisbeispiel

Dieser Mechanismus soll durch das folgende Beispiel in der Tabelle veranschaulicht werden. Als konkreten Anwendungsfall kann man sich dazu einen Chatbot vorstellen, der bei IT-Sicherheitsfragen nach möglichen Problemlösungen gefragt wird und eine entsprechende Antwort gibt. Auf der linken Seite ist der Eingabetext ohne CoT-Prompt dargestellt. Auf der rechten Seite sind der gleiche Eingabetext und zusätzlich der hier besonders relevante CoT-Prompt: „Erkläre Schritt für Schritt, wie wir vorgehen sollten.“ zu sehen. Im unteren Teil in der Tabelle ist jeweils das KI-generierte Ergebnis abgebildet. Links ist die Antwort allgemein gehalten und enthält hilfreiche Informationen. Auf der rechten Seite ist der Output hingegen eine „Schritt für Schritt Anleitung“ als CoT-Prompt zur möglichen Lösung des Problems.

Wir müssen uns als Anwender/innen immer leistungsstärkerer generativer KI-Systeme zukünftig deutlicher bewusst machen, dass wir dazu neigen, uns intelligent erscheinenden Objekten sehr schnell menschliche Eigenschaften zuzuschreiben - in diesem Kontext einem Software-System aus dem Bereich der „Künstlichen Intelligenz“. Das derzeit sicherlich prominenteste Opfer der Anthropomorphisierung ist der (inzwischen von seinem Arbeitgeber beurlaubte) Google-Ingenieur Blake Lemoine, der glaubt, dass sein Chatbot Lamda ein Bewusstsein entwickelt hat (Martin-Jung 2022).

Die besonders faszinierende und zugleich irritierende Facette des „CoT-Prompting“ ist aber, dass das KI-System – betont sei an dieser Stelle: von uns Menschen geschaffen! - uns eine maßgeschneiderte Scheinwelt seiner Gedanken anbietet, die für uns als Zielgruppe möglichst verständlich und plausibel erscheinen. Ein Modell wie z.B. GPT-3 hat weder ein semantisches Textverständnis noch ein Bewusstsein. Es geht letztlich nur um eine Berechnung von Wahrscheinlichkeiten und den Einsatz statistischer Methoden, um basierend auf den Trainingsdaten zu ermitteln, welche Wortsilbe auf die nächste folgt. Auf diese Weise sind beide Ergebnisse in der Tabelle entstanden.

Auch für das CoT-Prompting gilt (selbstverständlich), dass der tatsächliche Prozess der Textgenerierung vom Input bis zum Output wegen der verborgenen Strukturen der Architektur von GPT-3 als Deep-Learning-Systems mit einem vertretbaren Aufwand nicht vermittelbar ist. Das bedeutet, dass die Ergebnisse der rechten Seite in der Tabelle wie ein „Potemkinsches Dorf“ einer KI-Gedankenkette zu bewerten sind. Es wirkt auf uns Menschen beruhigend, reduziert Ängste und lindert in gewisser Weise den Schmerz der narzisstischen Kränkung durch eine zunehmend leistungsstärkere KI. Wir hoffen nun, dass wir endlich wieder, aber leider nur vermeintlich, teilhaben an der Gedankenwelt der von uns geschaffenen „künstlichen Intelligenz“. Daher gehen wir im Hinblick auf die offensichtlichen Vorteile wieder gerne an Bord – nach einer langen Phase der gedanklichen Entfremdung durch die „Black Box-Problematik“. Denn die Vorteile des CoT-Promptings wirken überzeugend: Google-Forscher konnten experimentell belegen, dass durch das CoT-Prompting die Ergebnisqualität bei großen Sprachmodellen wie z.B. GPT-3 mit entsprechender Anzahl von Parametern für verschiedene Arten von Denkaufgaben deutlich gesteigert werden kann (Wei und Zhou 2022). Aber welche Risiken dieser neue Ansatz in der Wahrnehmung und möglichen Fehlinterpretation durch uns Menschen letztlich birgt, ist heute noch nicht klar zu erkennen. Lassen wir zum Abschuss daher die Ausgangsfrage: „Bedeutet Chain of Thought Prompting einen Durchbruch für mehr Transparenz beim Einsatz von KI-Sprachmodellen?“ von unserem KI-Sprachmodell selbst beantworten. Hier die „gefährlich“ plausible und ehrlich anmutende Antwort: (https://beta.openai.com)