Vertrauenswürdige KI in der Verwaltung: Kleine Modelle, große Wirkung

Small Language Models, kurz SLMs, sind vergleichsweise kompakte Sprachmodelle mit weniger als zehn Milliarden Parametern. Parameter lassen sich vereinfacht als Stellgrößen beschreiben, mit denen ein Modell Sprache erlernt. Je weniger Parameter vorhanden sind, desto spezialisierter und begrenzter ist das Modell in seinen Fähigkeiten.

Large Language Models, kurz LLMs, verfügen hingegen über deutlich mehr Parameter. Häufig sind es siebzig Milliarden oder mehr, teilweise sogar mehrere Billionen. Diese Modelle sind darauf ausgelegt, sehr viele unterschiedliche Sprachmuster, Themen und Kontexte gleichzeitig abzudecken.

Unterschiede zeigen sich auch in der Herkunft. Kleinere generative Modelle entstehen häufig in offenen Forschungsansätzen großer Technologiekonzerne wie Meta oder im Rahmen europäischer Forschungs und Kooperationsprojekte. Große Modelle werden überwiegend von kommerziellen Anbietern entwickelt, zentral betrieben und als Dienstleistung angeboten.

Der Größenunterschied ist dabei kein Qualitätsurteil. Er beschreibt unterschiedliche strategische Werkzeuge mit jeweils spezifischen Stärken und Schwächen.

Vertrauenswürdige KI beginnt mit der richtigen Modellwahl.

Kleine Sprachmodelle sind auf klar definierte Aufgaben zugeschnitten. Sie eignen sich besonders für Textzusammenfassungen, Kategorisierungen, einfache Übersetzungen oder das strukturierte Wiedergeben von Inhalten aus vorhandenen Dokumentenbeständen.

Ein zentraler Vorteil liegt in der Betriebsform. Viele SLMs lassen sich innerhalb der eigenen IT Umgebung betreiben, teilweise sogar vollständig offline. Das erleichtert die Einhaltung von Datenschutz, IT Sicherheit und regulatorischen Anforderungen erheblich und erhöht die Kontrolle über Datenflüsse und Verarbeitung.

Ein weiterer Punkt ist die fachliche Zuverlässigkeit. Kleine Modelle neigen weniger zu sogenannten Halluzinationen. Da sie über wenig eigenes Weltwissen verfügen, stützen sie sich stärker auf bereitgestellte Inhalte. Werden sie gezielt mit Akten, Richtlinien oder Urteilen kombiniert, liefern sie in der Praxis oft sachlichere, nachvollziehbarere und besser prüfbare Ergebnisse.

Die Spezialisierung bringt auch Einschränkungen mit sich. SLMs verfügen nur über begrenztes eigenes Wissen, das zudem fehlerhaft oder veraltet sein kann. Ohne gut strukturierte und geprüfte Dokumente entsteht kaum Mehrwert.

Auch organisatorisch erfordern kleine Modelle mehr Vorbereitung. Auswahl, Anpassung, Integration und begleitende Prozesse müssen bewusst gestaltet werden. SLMs sind keine universellen Systeme, sondern präzise Werkzeuge für klar umrissene Anwendungsfälle.

Große Sprachmodelle überzeugen durch ihre Vielseitigkeit. Sie können eine Vielzahl unterschiedlicher Aufgaben ohne spezielle Anpassung übernehmen, große Textmengen verarbeiten und sprachlich flüssige, erklärende Antworten formulieren.

Durch ihr umfangreiches vortrainiertes Allgemeinwissen sind sie schnell einsetzbar, meist sofort verfügbar und beantworten informelle Fragen oft zuverlässig. Für Organisationen, die ein einheitliches Werkzeug für viele unterschiedliche Einsatzszenarien suchen, kann das zunächst attraktiv erscheinen.

Große Modelle bringen jedoch strukturelle Risiken mit sich. Die laufenden Kosten sind häufig hoch, da Nutzungsvolumen oder textbasiert abgerechnet wird. Langfristige Budgetplanung ist dadurch schwierig.

Hinzu kommen Datenschutz und Kontrollfragen. Viele LLMs werden ausschließlich extern betrieben, wodurch Datensouveränität nur eingeschränkt gegeben ist. Gleichzeitig führt der hohe Rechenbedarf zu einem erheblichen Energie und CO₂ Verbrauch.

Inhaltlich zeigt sich ein weiterer kritischer Aspekt. Das umfangreiche erlernte Wissen großer Modelle führt dazu, dass sie plausibel klingende, aber fachlich falsche Inhalte erzeugen können. In rechtssensiblen Kontexten wie Verwaltung und Justiz ist diese Neigung zu Halluzinationen besonders problematisch.

Für öffentliche Verwaltungen und die Justiz gilt ein klarer Grundsatz: Nicht das Modell entscheidet, sondern das konkrete Problem. Wer klar definierte Aufgaben lösen möchte, etwa die strukturierte Arbeit mit bestehenden Dokumenten, ist mit kleinen generativen Modellen häufig besser beraten.

SLMs lassen sich einfacher datenschutzkonform betreiben und entfalten ihre größte Wirkung, wenn sie sich gezielt auf geprüfte Inhalte stützen. Das macht ihren Einsatz nachhaltig, kontrollierbar und vertrauenswürdig. Zwar sind die initialen Aufwände höher, dafür entsteht eine langfristig stabile und souveräne Lösung.

Große Modelle eignen sich dann, wenn ein bewusstes Multifunktionswerkzeug gesucht wird und Abhängigkeiten akzeptiert werden. In beiden Fällen ist digitale Souveränität entscheidend. Die zentrale Frage lautet immer: Wer kontrolliert Daten, Kosten und Weiterentwicklung?

Westernacher Solutions begleitet öffentliche Organisationen bei genau diesen Abwägungen. Der Ansatz ist nicht technologiegetrieben, sondern verantwortungsorientiert. Das Competence Center AI verbindet technische Möglichkeiten mit rechtlichen, organisatorischen und ethischen Anforderungen.

Im Fokus stehen nachhaltige, nachvollziehbare KI Anwendungen statt kurzfristiger Hypes. So entsteht eine belastbare Brücke zwischen technologischer Innovation, Regulierung und öffentlichem Auftrag.

In der Praxis setzt Westernacher Solutions bereits heute gezielt kleine generative Sprachmodelle ein, unter anderem in Chatbot Lösungen für Kirchen oder zur Extraktion von Informationen aus Dokumenten. Im Vordergrund steht dabei nicht die freie Konversation, sondern die strukturierte Unterstützung im Arbeitsalltag. Dazu gehören das Auffinden relevanter Informationen, die verständliche Zusammenfassung von Dokumenten und die Orientierung in komplexen Textbeständen.

Um Entscheidungsträgerinnen und Entscheidungsträgern in dieser frühen Phase Orientierung zu geben, wurde zudem die Plattform www.trusted-llm.de aufgebaut. Dort lassen sich verschiedene Sprachmodelle vergleichen, entlang zentraler Fragen des öffentlichen Sektors.

• Wie souverän lässt sich ein Modell betreiben?
• Wie transparent sind Herkunft und Rahmenbedingungen?
• Und wie gut passt es zu rechtlichen, organisatorischen und langfristigen Anforderungen?

Trusted-llm.de macht sichtbar, dass es bereits heute echte Wahlmöglichkeiten gibt, auch jenseits weniger großer Anbieter. Der Vergleich schafft Transparenz ohne Vorfestlegungen und unterstützt Verwaltungen dabei, fundierte und verantwortungsvolle KI Entscheidungen zu treffen.