Gefahren von Künstlicher Intelligenz
Wie Verwaltungen KI verantwortungsvoll einsetzen: Risiken erkennen, Daten schützen, Menschen einbinden, Transparenz sichern.
Wo liegen die größten Fehlerrisiken in KI-Systemen?
KI-gestützte Systeme werden zunehmend bei Verwaltungsentscheidungen eingesetzt, etwa bei Förderanträgen, Risikoanalysen oder Fallbearbeitung. Fehler entstehen besonders dort, wo Daten unvollständig, veraltet oder unausgewogen sind und wo Mitarbeitende automatischen Empfehlungen ohne kritische Prüfung folgen.
Zwei zentrale Gefahren:
Bias in Daten und Modellen
Verzerrte Trainingsgrundlagen setzen Benachteiligungen fort. Abhilfe schaffen sorgfältige Datenpflege, Fairness-Tests und dokumentierte Impact-Assessments.
Automation Bias in Teams
Wenn Scores als Wahrheit gelesen werden, schleichen sich systematische Fehlurteile ein. Human-in-the-Loop, ein Vier-Augen-Prinzip und die Pflicht zur Begründung von Abweichungen halten die Kontrolle beim Menschen.
Praxisbeispiel: Fehlsteuerung in der britischen Sozialverwaltung
Im britischen Sozialministerium (Department for Work and Pensions) identifizierte im Jahr 2024 ein Algorithmus zahlreiche unauffällige Bürger und Bürgerinnen fälschlicherweise als verdächtig. Dadurch kam es zu Tausenden unnötigen Prüfungen und erheblichem Vertrauensverlust. Das Beispiel zeigt, wie wichtig kontinuierliches Monitoring, Qualitätskontrolle und öffentliche Rechenschaft beim Einsatz von KI-Systemen sind.
Wie bleibt die Verwaltung mit KI transparent?
Viele lernende KI-Modelle, insbesondere im Bereich des maschinellen Lernens, funktionieren de facto wie eine Blackbox. Entscheidungen lassen sich in zahlreichen Fällen nicht vollständig erklären oder nachvollziehen. Für die öffentliche Verwaltung stellt das ein Problem dar, weil Bürger und Bürgerinnen Anspruch auf nachvollziehbare, prüfbare und anfechtbare Entscheidungen haben. Denn mangelnde Erklärbarkeit und fehlende Auditierbarkeit untergraben das Vertrauen in öffentliche Institutionen.
Was Verwaltungen beachten sollten:
- Dokumentation und regelmäßige Prüfung von Entscheidungsprozessen, inklusive Daten- und Rollenprotokollen
- Erstellung von Modellkarten, die Zweck, Trainingsdaten, Grenzen und Versionen transparent machen
- Einrichtung technischer Audit-Mechanismen und Prüfroutinen für Modelle sowie klare Versionierung
- Etablierung von Fehler- und Beschwerdeverfahren mit niedrigschwelligem Zugang für Betroffene
Eine transparente Gestaltung von KI-Systemen ist eine wesentliche Voraussetzung dafür, dass Kontrolle möglich bleibt und Bürgerrechte gewahrt werden.
Wie lässt sich ein sicherer und fairer KI-Betrieb gewährleisten?
Ein sicherer und fairer KI-Betrieb verbindet klare Verantwortlichkeiten, technische Robustheit, Qualitätskontrolle und befähigte Mitarbeitende.
Die Grundprinzipien dieser Governance finden sich auch im Beitrag zu KI-Frameworks für die Verwaltung.
Wie lassen sich Lebenszyklus-Risiken von KI-Modellen steuern?
KI-Systeme sind keine einmaligen Projekte, sondern durchlaufen einen vollständigen Lebenszyklus – von der Entwicklung über den Einsatz bis hin zur Anpassung oder Stilllegung. In jeder Phase können neue Risiken entstehen: fehlerhafte Trainingsdaten, unklare Zuständigkeiten, Daten-Drift oder fehlendes Monitoring. Wer diese Risiken systematisch steuert, erhält Qualität, Fairness und Sicherheit im Betrieb.
Von der Idee bis zur Rezertifizierung
- Problemdefinition: Zweck, Betroffenheit und Rechtsgrundlage sollten von Anfang an klar sein.
- Shadow-Mode (Testphase): Vor dem echten Einsatz sollte das Modell im Hintergrund mitlaufen. So lässt sich prüfen, ob es zu ungewollten Verzerrungen kommt.
- Go-live mit KPIs: Beim Start müssen klare Kennzahlen definiert sein: Welche Fehlerquote ist akzeptabel? Wie wird Fairness gemessen? Wer trägt die Verantwortung für das Monitoring?
- Drift-Monitoring und Alerts: Ein gutes System erkennt automatisch, wenn sich Datenstrukturen oder Ergebnisse verschieben, und löst entsprechende Warnungen aus.
- Retraining und Rezertifizierung: Wenn sich Rahmenbedingungen oder Datenbestände ändern, muss das Modell erneut überprüft und freigegeben werden.
Änderungen an Daten, Features oder Code lösen grundsätzlich eine erneute Prüfung aus – auch wenn sie vom Lieferanten oder von einem externen Anbieter stammen.
Wie begrenzt Human-in-the-Loop operative Fehlsteuerungen?
Auch bei sorgfältig trainierten Modellen bleibt menschliches Urteilsvermögen unverzichtbar. Der Human-in-the-Loop-Ansatz sorgt dafür, dass Menschen aktiv in KI-gestützte Verfahren eingebunden bleiben. Nicht, um jede Berechnung manuell zu prüfen, sondern um definierte Eingriffs- und Prüfpunkte zu etablieren. So bleiben Verantwortlichkeit, Nachvollziehbarkeit und Rechtsstaatlichkeit gewahrt.
Drei zentrale Regeln für den Praxiseinsatz
Unplausible Begründung prüfen
Mitarbeitende dürfen Empfehlungen ohne nachvollziehbaren Grund nicht übernehmen.
Out-of-Scope-Fälle erkennen
In Sonderfällen, bei neuen Rechtslagen oder ungeübten Kontexten entscheidet die zuständige Person.
Hohe Betroffenheit beachten
In existenznahen oder grundrechtsrelevanten Verfahren trifft immer ein Mensch die letzte Entscheidung.
Prozessempfehlung
Ein funktionierender Human-in-the-Loop-Prozess sollte dokumentiert und in der Fachanwendung verankert sein. Mitarbeitende lesen die Empfehlung, bewerten sie, dokumentieren ihre Entscheidung und nutzen ein Vier-Augen-Prinzip, wenn die Betroffenheit hoch ist. Ergänzend hilft ein Begründungsfeld in den digitalen Formularen, um Abweichungen oder Übersteuerungen transparent zu erfassen.
Regelmäßige Schulungen und Feedbackschleifen sind entscheidend. Nur wer die Grenzen von KI-Systemen versteht, kann ihre Ergebnisse richtig einordnen und Verantwortung übernehmen.
Wie lassen sich Risiken wie Blackbox und Vendor-Lock-in minimieren?
In vielen Verwaltungen werden KI-Systeme als externe Lösungen oder über Cloud-Dienste bezogen. Das bietet Effizienzgewinne, öffnet aber neue Risiken: Blackbox-Systeme, deren Funktionsweise nicht nachvollziehbar ist, und Vendor-Lock-in, also starke Abhängigkeit von einzelnen Anbietern. Beide Risiken können die Kontrolle über Daten, Modelle und Weiterentwicklung erheblich einschränken.
Ein verantwortungsvoller Beschaffungsprozess sorgt dafür, dass Verwaltungen auch nach der Einführung wissen, wie ein KI-System funktioniert, wer es beeinflusst und wie sie es bei Bedarf austauschen können.
Fünf Punkte, die in keiner Ausschreibung fehlen sollten:
Die Beschaffung ist Teil der Governance und nicht nur ein Einkaufsvorgang. Jede KI-Beschaffung sollte von IT, Datenschutz, Recht und Fachbereich gemeinsam geprüft werden. So bleiben Datenhoheit, Systemwechselbarkeit und Kontrollfähigkeit der Verwaltung gesichert.
Wie verhindert Kommunikation Akzeptanzrisiken?
Selbst die technisch beste KI reicht nicht aus, wenn Menschen ihr nicht vertrauen. In der öffentlichen Verwaltung kann mangelnde oder nicht ausreichend aufbereitete Information rasch zu Skepsis oder Ablehnung führen. Vertrauen entsteht nur, wenn Verfahren transparent erklärt sind, Beteiligung ermöglicht und Widerspruch unkompliziert ist.
Bausteine für vertrauensbildende Kommunikation
- Offenlegen, wo KI eingesetzt wird
- Zuständigkeit benennen
- Widerspruch und Nachfragen ermöglichen
- Fehler offen ansprechen
Kommunikation ist kein einmaliger Akt, sondern ein dauerhafter Prozess. Nur wenn Verwaltung, Technik sowie Bürger und Bürgerinnen im Dialog bleiben, wird Akzeptanz geschaffen und Legitimität gesichert.
Welche KPIs messen Risiko- und Qualitätslage wirklich?
KI-Systeme entfalten ihren Nutzen nur, wenn ihre Leistung und Fairness messbar bleiben. Gerade in der öffentlichen Verwaltung ist das entscheidend, um Vertrauen, Effizienz und Rechtskonformität dauerhaft zu sichern.
Aussagekräftige KPIs gehen über klassische Modellmetriken hinaus. Sie zeigen, ob eine KI gerecht, stabil und nachvollziehbar arbeitet oder ob Nachsteuerung nötig ist.
Zentrale Kennzahlen in der Praxis:
- Fehlerquote: zeigt, wie zuverlässig das Modell arbeitet und ob systematische Schwächen bestehen. Eine Quote unter 2 Prozent gilt häufig als Zielwert.
- Widerspruchsquote: macht sichtbar, wie häufig Entscheidungen angefochten werden. Eine niedrige Quote spricht für Fairness und Akzeptanz.
- Bearbeitungszeit: misst, ob die KI tatsächlich zu effizienteren Abläufen beiträgt oder Prozesse verlangsamt.
- Betroffenheitsverteilung: prüft, ob bestimmte Gruppen überproportional häufig negativ betroffen sind. Ausreißer deuten auf potenzielle Diskriminierung hin.
- Fairness-Metrik: vergleicht die Gleichbehandlung verschiedener Gruppen, etwa über Kennzahlen wie „Equal Opportunity“. Kleine Abweichungen sind normal, größere bedürfen Analyse.
- Sicherheitsvorfälle (Incidents): erfassen die Stabilität im Betrieb. Kritische Vorfälle sollten gar nicht oder nur in Ausnahmefällen auftreten.
Diese Kennzahlen sollten regelmäßig erhoben, dokumentiert und ausgewertet werden. Wichtig ist, dass sie verständlich, überprüfbar und konsistent bleiben.
Häufige Fragen zu Risiken und Pflichten beim Einsatz von Künstlicher Intelligenz in der Verwaltung
Ein KI-System gilt als Hochrisiko, wenn es über Zugänge zu staatlichen Leistungen, Förderungen oder Rechten entscheidet oder das Verhalten von Bürgern und Bürgerinnen wesentlich beeinflusst. Für solche Systeme gelten strenge Anforderungen an Datenqualität, Dokumentation, Transparenz und menschliche Aufsicht.
NIS-2 verpflichtet öffentliche Einrichtungen, umfassende Maßnahmen zur Cybersicherheit umzusetzen. Dazu gehören Risiko- und Vorfallmanagement, Lieferkettenkontrolle und Meldepflichten bei Sicherheitsvorfällen. Besonders KI-Plattformen, Cloud-Dienste und Schnittstellen fallen unter diese Regelung.
Sobald sich Trainingsdaten, Code oder Rahmenbedingungen wesentlich ändern, ist eine neue Prüfung erforderlich. Auch Updates von externen Anbietern können die Funktionsweise beeinflussen. Ein festgelegter Rezertifizierungsprozess stellt sicher, dass das System weiterhin korrekt, sicher und fair arbeitet.
Bereits in der Beschaffung sollten Audit-Klauseln, Daten- und Modelltransparenz sowie Exportmöglichkeiten vereinbart werden. Verträge müssen sicherstellen, dass Verwaltungen Zugriff auf relevante Informationen behalten und das System bei Bedarf austauschen oder abschalten können.
Transparenz schafft Vertrauen. Wenn Bürger und Bürgerinnen verstehen, wo KI eingesetzt wird, wer für Entscheidungen verantwortlich ist und wie sie Widerspruch einlegen können, steigt die Akzeptanz deutlich. Offene Kommunikation ist damit ein zentraler Faktor für den Erfolg von KI-Projekten im öffentlichen Sektor.
