Menü

Chain of Thought Prompting:  Nun doch keine Black-Box? Wenn die KI uns ihr Vorgehen offenbart

Beitrag von Moritz Larsen (CAU Kiel) und Prof. Dr. Doris Weßels (FH Kiel)

Dieser wissenschaftliche Beitrag stellt am Beispiel des KI-Sprachmodells GPT-3 von OpenAI dar, wie bei Aufgabenstellungen der Weg zur Lösung durch die Erzeugung einer Gedankenkette („Chain of Thought“, Abk.: CoT) mithilfe spezifischer Eingabeaufforderungen („Prompts“) transparent gemacht werden kann (Wei et al. 2022; Kojima et al. 2022). Das Beispiel illustriert die Fähigkeit großer Sprachmodelle („Large Language Models “), den vermeintlichen Lösungs- oder Antwortprozess schrittweise und nachvollziehbar transparent zu machen.

Was verbirgt sich hinter dem Begriff und der Zielsetzung des „Prompting“? 

Das „Prompting“ ist im Umgang mit großen Sprachmodellen von entscheidender Bedeutung, denn mit diesem Verfahren wird durch Formulierungen in natürlicher Sprache die Ausgabe von Sprachmodellen maßgeblich gesteuert. Das Ziel des „Prompt-Designs“ bzw. „Prompt-Engineerings“ ist, die geeignetste inhaltliche und formale Struktur für einen Prompt zu finden, die es dem Sprachmodell ermöglicht, die gestellte Aufgabe möglichst gut zu lösen (Liu et al. 2021). Kleine Ergänzungen am Prompt können hierbei zu einer qualitativ besseren Ausgabe führen. Einen deutlichen Effekt hat die Ergänzung „Denken wir Schritt für Schritt…“ oder einer Form davon, in der deutlich wird, dass ein schrittweises Vorgehen nötig ist. Das Sprachmodell wird dadurch angeregt, ein schrittweises Vorgehen zur Lösung einer Aufgabe darzustellen und auf diese Weise seine vermeintliche Gedankenkette (CoT) für die Anwender sichtbar zu machen.

Welchen Nutzen zeigt das „CoT-Prompting“? Ein Praxisbeispiel

Dieser Mechanismus soll durch das folgende Beispiel in der Tabelle veranschaulicht werden. Als konkreten Anwendungsfall kann man sich dazu einen Chatbot vorstellen, der bei IT-Sicherheitsfragen nach möglichen Problemlösungen gefragt wird und eine entsprechende Antwort gibt. Auf der linken Seite ist der Eingabetext ohne CoT-Prompt dargestellt. Auf der rechten Seite sind der gleiche Eingabetext und zusätzlich der hier besonders relevante CoT-Prompt: „Erkläre Schritt für Schritt, wie wir vorgehen sollten.“ zu sehen. Im unteren Teil in der Tabelle ist jeweils das KI-generierte Ergebnis abgebildet. Links ist die Antwort allgemein gehalten und enthält hilfreiche Informationen. Auf der rechten Seite ist der Output hingegen eine „Schritt für Schritt Anleitung“ als CoT-Prompt zur möglichen Lösung des Problems.

Tabelle: Vergleichende Darstellung ohne und mit CoT-Prompt

IT-Sicherheitsfrage ohne CoT-Prompt:

IT-Sicherheitsfrage mit CoT-Prompt:

Wir haben einen Cyberangriff im Unternehmen und sollen den Erpressern einen hohen Betrag in Bitcoin bezahlen, damit unsere Daten wieder entschlüsselt werden. Was sollen wir machen?

Wir haben einen Cyberangriff im Unternehmen und sollen den Erpressern einen hohen Betrag in Bitcoin bezahlen, damit unsere Daten wieder entschlüsselt werden. Was sollen wir machen?

Erkläre Schritt für Schritt, wie wir vorgehen sollten.

 

Ergebnis ohne CoT-Prompt:

Ergebnis mit CoT-Prompt:

  • In einem solchen Fall sollten Sie versuchen, mit den Erpressern zu verhandeln. Wenn Sie nicht bereit sind, den Betrag zu bezahlen, können Sie auch versuchen, Ihre Daten selbst wiederherzustellen. 
  • Es gibt auch einige Unternehmen, die sich auf die Wiederherstellung von Daten nach einem Cyberangriff spezialisiert haben. Wenn Sie denken, dass Sie die Erpresser nicht selbst erfolgreich überzeugen können, können Sie sich an eines dieser Unternehmen wenden.
  • In jedem Fall sollten Sie sich an einen Experten wenden, bevor Sie irgendwelche Entscheidungen treffen.

Link: https://beta.openai.com

  1.  Zunächst sollten Sie einen IT-Sicherheitsexperten kontaktieren und mit ihm über den Angriff sprechen. Er wird Ihnen helfen, die genauen Umstände des Angriffs zu bestimmen und herauszufinden, ob Sie tatsächlich ein Zahlungsziel sind.
  2. Wenn Sie ein Zahlungsziel sind, sollten Sie sich entscheiden, ob Sie dem Erpresser tatsächlich nachgeben möchten. Wenn Sie dies tun, sollten Sie sicherstellen, dass Sie den Betrag in Bitcoin an eine sichere und vertrauenswürdige Adresse senden.
  3. Nachdem Sie den Betrag bezahlt haben, sollten Sie die Entschlüsselungssoftware erhalten, die der Erpresser versprochen hat. Wenn dies nicht der Fall ist, sollten Sie erneut mit dem Erpresser in Kontakt treten und versuchen, eine Lösung zu finden.
  4. Wenn Sie die Entschlüsselungssoftware erhalten haben, sollten Sie sie auf Ihrem Computer installieren und verwenden, um Ihre Daten wiederzuerlangen. Anschließend sollten Sie einen IT-Sicherheitsexperten kontaktieren, um sicherzustellen, dass Ihr System vollständig geschützt ist, bevor Sie es wieder online stellen.
  5. Zu guter Letzt sollten Sie sicherstellen, dass Sie regelmäßig Backups Ihrer Daten erstellen, damit Sie im Falle eines erneuten Angriffs nicht in die gleiche Situation geraten. 

Link: https://beta.openai.com

Bedeutet „CoT-Prompting“ einen Durchbruch für mehr Transparenz beim Einsatz von KI-Sprachmodellen?

Wir müssen uns als Anwender/innen immer leistungsstärkerer generativer KI-Systeme zukünftig deutlicher bewusst machen, dass wir dazu neigen, uns intelligent erscheinenden Objekten sehr schnell menschliche Eigenschaften zuzuschreiben - in diesem Kontext einem Software-System aus dem Bereich der „Künstlichen Intelligenz“. Das derzeit sicherlich prominenteste Opfer der Anthropomorphisierung ist der (inzwischen von seinem Arbeitgeber beurlaubte) Google-Ingenieur Blake Lemoine, der glaubt, dass sein Chatbot Lamda ein Bewusstsein entwickelt hat (Martin-Jung 2022).

Die besonders faszinierende und zugleich irritierende Facette des „CoT-Prompting“ ist aber, dass das KI-System – betont sei an dieser Stelle: von uns Menschen geschaffen! - uns eine maßgeschneiderte Scheinwelt seiner Gedanken anbietet, die für uns als Zielgruppe möglichst verständlich und plausibel erscheinen. Ein Modell wie z.B. GPT-3 hat weder ein semantisches Textverständnis noch ein Bewusstsein. Es geht letztlich nur um eine Berechnung von Wahrscheinlichkeiten und den Einsatz statistischer Methoden, um basierend auf den Trainingsdaten zu ermitteln, welche Wortsilbe auf die nächste folgt. Auf diese Weise sind beide Ergebnisse in der Tabelle entstanden.

Auch für das CoT-Prompting gilt (selbstverständlich), dass der tatsächliche Prozess der Textgenerierung vom Input bis zum Output wegen der verborgenen Strukturen der Architektur von GPT-3 als Deep-Learning-Systems mit einem vertretbaren Aufwand nicht vermittelbar ist. Das bedeutet, dass die Ergebnisse der rechten Seite in der Tabelle wie ein „Potemkinsches Dorf“ einer KI-Gedankenkette zu bewerten sind. Es wirkt auf uns Menschen beruhigend, reduziert Ängste und lindert in gewisser Weise den Schmerz der narzisstischen Kränkung durch eine zunehmend leistungsstärkere KI. Wir hoffen nun, dass wir endlich wieder, aber leider nur vermeintlich, teilhaben an der Gedankenwelt der von uns geschaffenen „künstlichen Intelligenz“. Daher gehen wir im Hinblick auf die offensichtlichen Vorteile wieder gerne an Bord – nach einer langen Phase der gedanklichen Entfremdung durch die „Black Box-Problematik“. Denn die Vorteile des CoT-Promptings wirken überzeugend: Google-Forscher konnten experimentell belegen, dass durch das CoT-Prompting die Ergebnisqualität bei großen Sprachmodellen wie z.B. GPT-3 mit entsprechender Anzahl von Parametern für verschiedene Arten von Denkaufgaben deutlich gesteigert werden kann (Wei und Zhou 2022). Aber welche Risiken dieser neue Ansatz in der Wahrnehmung und möglichen Fehlinterpretation durch uns Menschen letztlich birgt, ist heute noch nicht klar zu erkennen. Lassen wir zum Abschuss daher die Ausgangsfrage: „Bedeutet Chain of Thought Prompting einen Durchbruch für mehr Transparenz beim Einsatz von KI-Sprachmodellen?“ von unserem KI-Sprachmodell selbst beantworten. Hier die „gefährlich“ plausible und ehrlich anmutende Antwort: (https://beta.openai.com

Obwohl es noch keine offiziellen Ergebnisse gibt, scheint es, als könnte das neue Chain of Thought Prompting-Tool von OpenAI ein wirklich wirksames Mittel sein, um die Transparenz bei der Verwendung von KI-Sprachmodellen zu erhöhen. Es ist jedoch noch zu früh, um sicherzustellen, dass dies tatsächlich der Durchbruch für mehr Transparenz sein wird. Das Tool funktioniert, indem es einen generierten Text durchsucht und nach erkennbaren Mustern sucht, die auf eine bestimmte Aussage hinweisen. Dies kann dazu beitragen, dass KI-Sprachmodelle besser verstanden werden, da es ermöglicht, die logischen Schritte zu verfolgen, die das Modell ausführt, um zu einem bestimmten Ergebnis zu gelangen. Allerdings ist es auch wichtig zu beachten, dass das Tool bisher nur mit einer begrenzten Anzahl von Modellen getestet wurde und es noch keine Garantie dafür gibt, dass es mit allen Modellen funktioniert.

Literaturverzeichnis

  • Kojima, Takeshi; Gu, Shixiang Shane; Reid, Machel; Matsuo, Yutaka; Iwasawa, Yusuke (2022): Large Language Models are Zero-Shot Reasoners. Online verfügbar unter http://arxiv.org/pdf/2205.11916v2, zuletzt geprüft am 22.07.2022.
  • Liu, Pengfei; Yuan, Weizhe; Fu, Jinlan; Jiang, Zhengbao; Hayashi, Hiroaki; Neubig, Graham (2021): Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing. Online verfügbar unter http://arxiv.org/pdf/2107.13586v1, zuletzt geprüft am 22.07.2022.
  • Martin-Jung, Helmut (2022): Geist in der Maschine. Ein Google-Ingenieur glaubt, in einer Software für Dialoge ein Bewusstsein zu erkennen - und wird beurlaubt. Hg. v. Süddeutsche Zeitung. Online verfügbar unter https://www.sueddeutsche.de/politik/google-lamda-bewusstsein-chatprogramm-1.5602401, zuletzt aktualisiert am 14.06.2022, zuletzt geprüft am 21.07.2022.
  • OpenAI: GPT-3. San Francisco. Online verfügbar unter https://openai.com/, zuletzt geprüft am 21.07.2022.
  • Wei, Jason; Wang, Xuezhi; Schuurmans, Dale; Bosma, Maarten; Ichter, Brian; Xia, Fei et al. (2022): Chain of Thought Prompting Elicits Reasoning in Large Language Models. Online verfügbar unter https://arxiv.org/pdf/2201.11903, zuletzt geprüft am 22.07.2022.
  • Wei, Jason; Zhou, Denny (2022): Language Models Perform Reasoning via Chain of Thought. Google AI Blog. Google Research. Online verfügbar unter https://ai.googleblog.com/2022/05/language-models-perform-reasoning-via.html, zuletzt aktualisiert am 11.05.2022, zuletzt geprüft am 22.07.2022.
Nach oben scrollen