Lokale Sprachmodelle im Praxistest: Souveräne KI bei M.O.E.
Wie können Unternehmen generative Künstliche Intelligenz nutzen, ohne sensible Daten an externe Dienste zu übertragen? Die Moeller Operating Engineering GmbH (M.O.E.) und KI.SH haben untersucht, welcher RAG-Ansatz und welches lokale Sprachmodell technische Fachfragen zuverlässig beantworten. Gleichzeitig wurde geprüft, welche Hardware für einen stabilen, leistungsfähigen und datenschutzkonformen Betrieb benötigt wird.
Lokale KI für die Energiewirtschaft
Die Moeller Operating Engineering GmbH ist eine akkreditierte Kompetenzstelle für Zertifizierung, Messung und Inspektion im Bereich der Netzintegration dezentraler Energieanlagen. Das Unternehmen mit Hauptsitz in Itzehoe begleitet Projekte aus den Bereichen Windenergie, Photovoltaik und Speichersysteme von der Entwicklung bis zum dauerhaften Betrieb. Rund 100 Mitarbeitende unterstützen mit ihrer Arbeit die Energiewende.
M.O.E. sieht großes Potenzial darin, Sprachmodelle und multimodale KI-Systeme für wissensintensive Aufgaben einzusetzen. Generative KI könnte beispielsweise helfen, technische Informationen schneller zu erschließen und Fachfragen effizienter zu beantworten.
Dabei gelten hohe Datenschutzanforderungen: Sensible Kunden- und Projektdaten dürfen nicht an externe KI-Dienste übertragen werden. Für M.O.E. kommt deshalb vor allem eine KI infrage, die lokal oder innerhalb einer kontrollierten Infrastruktur betrieben wird. Das Unternehmen behält so die Kontrolle über Daten, Modelle und Zugriffsrechte.
Gesucht wurde nicht das größtmögliche Sprachmodell, sondern eine möglichst kleine und dennoch leistungsfähige Lösung. Sie soll zuverlässig auf der eigenen Hardware arbeiten, von mehreren Mitarbeiter:innen genutzt werden können und keine unnötig hohen Hardware-, Energie- und Betriebskosten verursachen.
Die Machbarkeitsstudie mit KI.SH hilft uns enorm weiter und gibt uns die Orientierung, damit wir mit unserer betriebsinternen KI-Lösung weitermachen können.
Foto: Schichtwechsel GmbH
Fachfragen zuverlässig und belegbar beantworten
Als konkreten Anwendungsfall untersuchte die Machbarkeitsstudie die Beantwortung technischer Fachfragen zu einem internen Dokument. Als Testgrundlage dienten das Dokument selbst sowie ein Benchmark-Datensatz mit bis zu 500 Fragen, erwarteten Antworten und zusätzlichen Metadaten.
Grund für dieses Vorgehen: In einem technisch-regulatorischen Umfeld genügt es nicht, wenn eine KI-Antwort plausibel klingt. Jede Aussage muss sich aus dem zugrunde liegenden Dokument ableiten lassen. Ist eine Information dort nicht enthalten, soll das System dies offen benennen, anstatt eine vermeintlich passende Antwort zu erfinden. Die Vermeidung solcher Halluzinationen war daher ein zentrales Qualitätskriterium.
Die Studie sollte zwei Fragen beantworten:
- Welcher RAG-Ansatz und welches Sprachmodell liefern die zuverlässigsten und belegbaren Antworten?
- Welche Hardware ist erforderlich, um das ausgewählte Modell lokal und unter realistischen Nutzungsbedingungen zu betreiben?
Im Projekt wurden drei RAG-Ansätze verglichen:
- Klassisches RAG verwendet eine semantische Vektorsuche, um inhaltlich passende Textabschnitte zu finden.
- Hybrides RAG kombiniert die semantische Suche mit einer stichwortbasierten Suche.
- Agentisches RAG lässt das Modell selbst entscheiden, wie oft und mit welchen Suchbegriffen das Dokument durchsucht wird.
Eine komplexere Architektur ist nicht automatisch besser. Zusätzliche Suchschritte können längere Antwortzeiten und einen höheren Rechenaufwand verursachen. Die Evaluierung sollte deshalb zeigen, ob sich dieser Mehraufwand in einer messbar besseren Antwortqualität widerspiegelt.
Mehr zum Thema RAG in unserem Blog Beitrag: "RAG: Wie generative KI ihr Unternehmen wirklich kennenlernt".
Neun Kriterien für die Antwortqualität
Das Projektteam entwickelte eine automatisierte Evaluation. Sprachmodelle und RAG-Ansätze wurden unter identischen Bedingungen getestet. Jede Antwort wurde anhand von neun Qualitätsdimensionen bewertet. Dazu gehörten u.a.
- die sachliche Korrektheit,
- die Relevanz für die Frage,
- die Treue zum Dokument,
- die Belegbarkeit durch gefundene Textstellen und
- der korrekte Umgang mit Fragen außerhalb der Wissensbasis.
Alle Auswertungsschritte wurden mit MLflow protokolliert. Für jede Frage lässt sich nachvollziehen, welche Textstellen gefunden wurden, welchen Kontext das Modell erhielt, welcher Prompt verwendet wurde und wie die Bewertung zustande kam. Versionierte Datensätze und Prompts ermöglichen reproduzierbare Vergleiche verschiedener Modelle und RAG-Architekturen.
Retrieval-Augmented Generation (RAG)
Retrieval-Augmented Generation (RAG) ist eine Technik, die KI-Antworten verbessert, indem Sprachmodelle mit externen Datenquellen kombiniert werden. Anstatt sich ausschließlich auf die internen Trainingsdaten des Modells zu verlassen, rufen RAG-Systeme relevante Dokumente ab, um Antworten auf aktuelle, domänenspezifische oder proprietäre Informationen zu stützen. RAG-Workflows basieren in der Regel auf Vektorspeichern, um diese externen Daten effizient zu verwalten und zu durchsuchen.
Welche Hardware braucht ein lokales Sprachmodell?
Die fachlich beste Modell- und RAG-Kombination muss auch unter Alltagsbedingungen stabil und wirtschaftlich betrieben werden können. Deshalb entwickelte das Projektteam ergänzend ein Inferenz-Benchmark- und Kapazitätsplanungswerkzeug.
Der Benchmark misst unter anderem die Zeit bis zum ersten ausgegebenen Token, die gesamte Antwortzeit, die Generierungsgeschwindigkeit und das Verhalten bei mehreren parallelen Anfragen. Das Werkzeug kann zudem abschätzen, ob ein Modell in den verfügbaren GPU-Speicher passt und wie viele gleichzeitige Anfragen bei einer bestimmten Kontextlänge möglich sind.
Die Ergebnisse zeigen, warum Modellqualität und Hardwarebedarf gemeinsam betrachtet werden sollten: Ein Modell kann fachlich überzeugende Antworten liefern, aber für den produktiven Einsatz zu viel Grafikspeicher benötigen oder bei paralleler Nutzung zu langsam werden.
Die technischen Details für den lokalen Betrieb
Für den untersuchten Anwendungsfall wurden als performanteste Sprachmodelle Gemma 4 31B als Chatmodell und Qwen3 4B als Embedding-Modell identifiziert. Als Vektordatenbank wird Qdrant und für Überwachung sowie Evaluierung MLflow empfohlen.
Für den produktiven Betrieb kommen vLLM oder SGLang als Inferenz-Engine infrage. Ollama oder llama.cpp eignen sich insbesondere für Tests. Als mögliche Benutzeroberflächen wurden Open WebUI und LibreChat als Open-Source-Möglichkeiten aufgezeigt.
Ein zentrales API-Gateway kann zusätzlich API-Schlüssel, Zugriffsrechte, dokumentbezogene Berechtigungen und Nutzungslimits verwalten. Weitere Datenschutzfilter könnten definierte sensible Inhalte wie IBAN oder Kundennummern erkennen, bevor eine Anfrage verarbeitet wird.
Souveräne KI als nachhaltige Lösung
Die Machbarkeitsstudie verbindet zwei Dimensionen eines nachhaltigen KI-Einsatzes. Einerseits kann die Lösung M.O.E. dabei unterstützen, Fachinformationen effizienter zu nutzen und Aufgaben im Umfeld der Energiewende produktiver zu bearbeiten. Andererseits zielt die Evaluierung darauf, ein möglichst kleines, aber ausreichend leistungsfähiges Modell auszuwählen.
Eine bedarfsgerecht dimensionierte KI-Infrastruktur kann Rechenleistung, Energie und Betriebskosten gegenüber einer überdimensionierten Lösung reduzieren. Nachhaltigkeit bedeutet hier sowohl KI für die Energiewende als auch einen ressourceneffizienten Betrieb der KI selbst.
Die Erkenntnisse sind auch für andere Unternehmen und öffentliche Institutionen in Schleswig-Holstein relevant. Besonders Organisationen mit vertraulichen, technischen oder regulatorischen Dokumenten können von einem methodischen Vergleich profitieren. Statt Modelle allein anhand ihrer Größe oder allgemeiner Bestenlisten auszuwählen, werden Qualität, Datenschutz, Hardwarebedarf und praktische Leistung gemeinsam bewertet.
Für M.O.E. bilden die Ergebnisse eine Grundlage für eine lokale, datenschutzkonforme und produktiv nutzbare KI-Infrastruktur. Das Projekt zeigt: Souveräne generative KI ist nicht allein eine Frage des Sprachmodells. Entscheidend ist das Zusammenspiel aus verlässlicher Wissensbasis, belegbaren Antworten, reproduzierbarer Evaluierung und einer Infrastruktur, die zum tatsächlichen Bedarf passt.
