Wie eine App mit KI das Lernen erleichtert
KI-Transfer-Hub SH begleitet bei der Erstellung eines Prototyps zur effektiven Beantwortung von Multiple-Choice-Fragen für die Siggi-Lernapp der Hecht und Marciniak GmbH
Für Malte Hecht begann die Entwicklung der Siggi-Lernapp im Spätsommer 2018. Er beobachtete seine heutige Mitgründerin der Hecht + Marciniak GbR bei ihren Prüfungsvorbereitungen zur psychologischen Psychotherapeutin: „Joanna hatte einen Stapel ausgedruckter Beispielklausuren vor sich und war damit beschäftigt, ihre alten Antworten unkenntlich zu machen, um die Bögen erneut auszufüllen. Das fand ich total ineffizient.“
Eine aufwändige Zettelwirtschaft, die weder mobiles Arbeiten noch eine gut gegliederte Fragenstruktur ermöglicht – Malte Hecht hatte viel Verbesserungspotenzial gesehen und die Idee einer App, die das Lernen angenehmer gestaltet: die Siggi-App.
Bei der Umsetzung kam ihm sein Informatik-Studium zugute und die Aussicht auf einen Ideenwettbewerb wenige Wochen später: „Ich hatte einen ersten Prototyp entwickelt, mit dem Beispielprüfungsfragen gekreuzt werden konnten und einen einfachen Algorithmus, der diese einigermaßen intelligent auswählte.“
Über den erfolgreichen Ideenwettbewerb sind Joanna Marciniak und Malte Hecht an das Gründungsstipendium Schleswig-Holstein gekommen, dass den beiden wertvolle Zeit ermöglichte, die App weiterzuentwickeln. Schnell haben die Lernenden nach dem Launch 2020 die Vorteile der Siggi-App, die ihnen in Kooperation mit der Deutschen Psychotherapeuten Vereinigung (DPtV) kostenfrei zur Verfügung gestellt wird, für sich entdeckt: „Es gibt zwei Prüfungen im Jahr. Bei der Frühjahrprüfung 2021 waren es rund 40 Prozent, die deutschlandweit damit gelernt hatten, bei der Herbstprüfung dann bereits 83 Prozent.“
Aus diesem Kontext sind viele Daten entstanden. Denn, so Malte Hecht: „Die Lernenden wiederholen im Schnitt 6.000 Prüfungsfragen im Rahmen der Prüfungsvorbereitungen. Mittlerweile haben wir einen Datensatz von über zwölf Millionen anonymisierten Frageinteraktionen. Diese Daten wollten wir nutzen, um auch mit Hilfe Künstlicher Intelligenz den Content der App zu verbessern.“
Die Ideen waren da. Jetzt brauchte es jemanden, der sich intensiv mit ihrer Umsetzung beschäftigt. Malte Hecht dazu: „Als kleines Unternehmen haben wir aber kaum die Möglichkeit, tiefergehend zu forschen, auszuprobieren und intern Machbarkeitsstudien zu entwickeln. Das können wir nicht nebenbei leisten. Hier waren die Zusammenarbeit mit der CAU und die Vernetzung durch den KI-Transfer-Hub SH sehr hilfreich.“
Erfolgreiche Machbarkeitsstudie verbessert den Content der Siggi-App und schafft Mehrwerte für die Lernenden
Karolina Ochs vom KI-Transfer-Hub SH ist KI-Projektmanagerin im Bereich Zuverlässige Systeme am Institut für Informatik der CAU zu Kiel. Sie begleitete die Machbarkeitsstudie zwischen Malte Hecht und der Universität, bei der ein wesentlicher Bestandteil die Abschlussarbeit des Studierenden Falk Kujath ausmachte. Gemeinsam mit Prof. Dr. Dirk Nowotka, dem Leiter für Zuverlässige Systeme am Institut für Informatik, wurden die Lösungsansätze konzipiert und das Thema ausgearbeitet: die Erstellung eines Prototyps zur automatischen Ermittlung der Schwierigkeit der Beantwortung von Multiple-Choice Fragen.
Grundlage für die Machbarkeitsstudie war das Datenmaterial: „Malte Hecht hat uns sehr gutes Material zur Verfügung gestellt“, sagt Karolina Ochs, „die Struktur war super aufbereitet und der Datensatz auch in der Qualität gut und vollständig. Wir hatten alles, was wir brauchten und haben die Daten nur ein wenig bereinigen müssen, um eine sinnvolle Teilmenge vom gesamten Datensatz zu bekommen.“
In der Bachelorarbeit wurde anhand von Multiple-Choice Fragen zunächst geschaut, was überhaupt eine Frageschwierigkeit ist und wie man diese gut ausrechnen kann. „Falk hatte unter anderem die Fragen- und Antworttexte zur Verfügung sowie die Informationen, welcher anonymisierte Nutzer welche Frage richtig oder falsch beantwortet hat“, erläutert Karolina Ochs, „daraus ermittelte er den Schwierigkeitswert. Für die Definition dieses Schwierigkeitswertes zog er statistische Modelle – konkret das Rasch-Modell – hinzu, um die Fähigkeit des einzelnen Nutzers herauszurechnen.“
Im zweiten Schritt wurde mit Hilfe dieses Datensatzes versucht, ein Modell zu trainieren, das nur anhand von Text die Schwierigkeit möglichst gut vorhersagen kann. „Als Methode der Künstlichen Intelligenz wurde XGBoost verwendet, ein bekannter, effizienter Algorithmus des maschinellen Lernens“, ergänzt die KI-Projektmanagerin, „einen Teil der Eingabedaten stellt der Fragen- und Antworttext aller Multiple-Choice-Fragen dar. Zusätzlich wird die Anzahl aller Antwortmöglichkeiten und der Anzahl der korrekten Antwortmöglichkeiten als Eingabe geliefert.“ Basierend auf diesen Eingabedaten lernt das Modell, sowohl einen skalaren Wert zwischen -1 und 1 als auch eine Klassifizierung in die drei Klassen leicht, mittel und schwer vorherzusagen.
Die Machbarkeitsstudie war ein sichtbarer Erfolg: „Einen Teil der Bachelorarbeit, nämlich den Aspekt, eine Schwierigkeit zu definieren und pro Klausur auszurechnen, können wir unmittelbar nutzen. Wie haben sich die Altklausuren überhaupt entwickelt? Wie schwer ist eine Klausur gewesen? Dies ist sehr spannend und ein absoluter Mehrwert für die Lernenden“, fasst Malte Hecht zusammen, „und beim zweiten Teil, der Vorhersage der Schwierigkeiten, haben wir einen ausgezeichneten Startpunkt erreicht, weiter zu forschen und eventuell neue Machbarkeitsstudien zu entwickeln – mit den Hochschulen und dem KI-Transfer-Hub SH.“
Hecht + Marciniak GbR
Schauenburgerstr. 16, 24118 Kiel
Tel. +49 (0)151 419 018 78
hello@siggi-learn.com
https://siggi-learn.com
