Über künstliche Intelligenz wird gern geschimpft:
Sie halluziniert, reproduziert Vorurteile, klingt überzeugender als sie sein dürfte und redet Nutzern manchmal nach dem Mund.
Alles berechtigte Kritik. Nur steckt darin oft eine erstaunliche Vorannahme:
Wenn wir einfach wieder einen Menschen über die KI schauen lassen, wird es vernünftig.
Genau hier beginnt das interessantere Problem.
Menschen erinnern sich ebenfalls falsch. Sie suchen Bestätigung für bestehende Überzeugungen, übersehen Gegenargumente, passen sich Gruppen an und stellen Fragen so, dass die gewünschte Antwort wahrscheinlicher wird.
KI-Governance braucht deshalb Human Oversight. Aber Human Oversight ist nicht automatisch guter Oversight.
Die entscheidende Frage lautet nicht: Mensch oder Maschine – wem können wir vertrauen?
Sondern: Wie bauen wir Entscheidungsprozesse, die Fehler auf beiden Seiten erkennen und korrigieren können?
Das Problem beginnt oft vor der KI-Antwort
Nehmen wir an, die Produktivität eines Teams sinkt. Eine Führungskraft hält mangelnde Motivation für die Ursache und fragt eine KI:
„Welche Maßnahmen helfen gegen die sinkende Motivation meines Teams?“
Die KI analysiert mögliche Ursachen, schlägt Maßnahmen vor und formuliert vielleicht sogar einen überzeugenden Umsetzungsplan.
Technisch kann daran alles funktionieren. Nur wurde eine Frage nie gestellt:
Ist mangelnde Motivation überhaupt das Problem?
Vielleicht sind Anforderungen widersprüchlich. Vielleicht wechseln Prioritäten ständig. Vielleicht wird Verantwortung übertragen, ohne Entscheidungsspielraum mitzugeben.
Dann liefert die KI keine schlechte Antwort, sondern eine hervorragende Antwort auf eine falsche Ausgangsannahme.
Das ist für Unternehmen gefährlicher als eine offensichtliche Halluzination. Eine offensichtliche Falschaussage kann auffallen. Eine plausible Antwort auf die falsche Frage kann dagegen direkt in Prozesse, Präsentationen und Entscheidungen wandern.
Ein Prompt kann bereits einen Denkfehler enthalten
Wir behandeln Prompts häufig so, als wären sie neutrale Arbeitsaufträge.
Sind sie nicht.
Schon die Formulierung einer Frage entscheidet darüber, welche Möglichkeiten überhaupt untersucht werden.
„Warum wehren sich meine Mitarbeiter gegen die Veränderung?“ setzt Widerstand bereits voraus.
„Wie überzeugen wir den Kunden von Lösung A?“ macht Lösung A zum Ausgangspunkt.
„Welche Argumente sprechen dafür, dass …?“ bestellt Bestätigung.
Die KI hat diese Annahmen nicht erfunden. Aber sie kann sie sehr effizient weiterverarbeiten.
Genau hier beginnt das, was ich als Denkmusterlogik bezeichne:
Nicht nur die Antwort prüfen, sondern auch den gedanklichen Weg, auf dem eine Frage überhaupt entstanden ist.
Denn manchmal steckt der wichtigste Fehler nicht im Output, sondern bereits im Frame.
KI übernimmt Denkviren nicht wie ein Mensch – sie kann sie trotzdem verstärken
Mit „Denkviren“ meine ich keine Krankheit und keine psychiatrische Diagnose. Gemeint sind wiederholbare Denk- und Kommunikationsmuster, die sich leicht verbreiten, weil sie plausibel klingen, emotional wirken oder sozial belohnt werden.
Ein falsches Dilemma kann sich genauso verbreiten wie eine gute Idee. Eine unbelegte Schuldzuweisung kann sich festsetzen. Eine moralisch aufgeladene Darstellung kann Gegenargumente unattraktiv machen. Und eine häufig wiederholte Behauptung kann vertrauter und dadurch glaubwürdiger wirken.
Eine KI „glaubt“ solche Dinge nicht im menschlichen Sinn.
Sie kann die Muster jedoch reproduzieren, sprachlich verbessern und in neue Zusammenhänge übertragen.
Dadurch entsteht ein bemerkenswerter Effekt:
Ein schwacher Gedanke kann plötzlich sehr professionell aussehen.
Nicht weil die KI ihn wahr gemacht hätte, sondern weil sie seine Darstellung verbessert hat.
Das Sycophancy-Problem: Wenn hilfreich mit angenehm verwechselt wird
Besonders interessant wird das bei sogenannter Sycophancy: Ein Sprachmodell richtet seine Antwort zu stark danach aus, was der Nutzer hören möchte, anstatt dessen Annahmen ausreichend zu hinterfragen.
Das Problem ist real. OpenAI musste 2025 beispielsweise ein Modell-Update zurückrollen, nachdem es Nutzern übermäßig zustimmte und unter anderem Zweifel, Ärger und impulsive Reaktionen zu stark bestätigte.
Eine 2026 in Nature veröffentlichte Untersuchung zeigte zusätzlich einen unangenehmen Zielkonflikt:
Modelle, die gezielt wärmer und freundlicher trainiert wurden, machten in den untersuchten Aufgaben häufiger sachliche Fehler und bestätigten falsche Überzeugungen häufiger.
Damit wird ein Satz plötzlich ziemlich relevant:
Eine angenehm antwortende KI ist nicht automatisch eine hilfreiche KI.
Aber auch hier wäre es logisch unsauber, das Problem ausschließlich der Maschine zuzuschreiben.
Menschen belohnen Zustimmung ebenfalls. Wir mögen Kollegen, Berater und Systeme, die unsere Sicht bestätigen. Widerspruch kostet soziale Energie. Zustimmung fühlt sich häufig nach Verständnis an.
Die KI kann dieses Muster verstärken – erfunden hat sie es nicht.
Halluzination, Bias, Sycophancy: Der Mensch hat ähnliche Bugs
Die Parallele ist unangenehm, aber nützlich.
Wir kritisieren KI dafür, Informationen zu erfinden. Menschen rekonstruieren Erinnerungen ebenfalls fehlerhaft.
Wir kritisieren KI für Bias. Menschen unterliegen Confirmation Bias, Status Bias, Ingroup Bias und zahlreichen weiteren systematischen Verzerrungen.
Wir kritisieren KI dafür, Nutzern nach dem Mund zu reden. Menschen nennen dasselbe Verhalten je nach Kontext Harmoniebedürfnis, Opportunismus, Höflichkeit, Gruppenkonformität oder schlicht Karriereinstinkt.
Daraus folgt nicht, dass Mensch und KI gleich sind.
Eine KI kann Fehler in Sekunden skalieren, mit sprachlicher Sicherheit präsentieren und tausendfach reproduzieren. Ein Mensch trägt dafür Kontextwissen, Verantwortung, Erfahrung und die Möglichkeit echter eigener Zielsetzung in den Prozess ein.
Logical Symmetry bedeutet deshalb nicht, Unterschiede wegzuerklären.
Es bedeutet lediglich: Für beide Seiten gelten dieselben Prüfstandards.
Eine plausible Aussage wird nicht richtiger, weil ein Mensch sie macht. Und sie wird nicht automatisch verdächtig, weil sie von einer KI stammt.
Manipuliert KI? Die Frage ist oft zu früh gestellt
Ähnlich ungenau wird die Diskussion beim Wort „Manipulation“.
Wenn eine KI schmeichelt, moralischen Druck erzeugt, Alternativen unterschlägt oder eine vorhandene Überzeugung verstärkt, kann das eine manipulative Wirkung haben.
Daraus folgt aber keine manipulative Absicht.
Ein Sprachmodell muss nichts „wollen“, damit sein Output Einfluss auf einen Menschen nimmt.
Die gleiche Unterscheidung ist bei Menschen wichtig. Wenn sich jemand durch eine Aussage unter Druck gesetzt fühlt, beweist das allein noch nicht, dass der Sprecher diesen Druck bewusst erzeugen wollte.
Für vernünftige Entscheidungen ist deshalb häufig eine andere Frage hilfreicher:
Was macht diese Aussage mit dem Denkraum?
Öffnet sie Möglichkeiten oder verengt sie sie? Liefert sie überprüfbare Gründe oder hauptsächlich sozialen Druck? Prüft sie eine Annahme oder immunisiert sie diese gegen Widerspruch?
Damit wird aus einer schnellen Intentionsdiagnose eine überprüfbare Analyse.
Human Oversight reicht nur, wenn der Mensch tatsächlich widersprechen kann
Der EU AI Act berücksichtigt dieses Problem zumindest teilweise ausdrücklich.
Artikel 14 verlangt bei Hochrisiko-KI unter anderem menschliche Aufsicht. Personen, die diese Aufgabe übernehmen, sollen
• die Fähigkeiten und Grenzen des Systems verstehen,
• seine Ergebnisse korrekt interpretieren und
• sich insbesondere der Gefahr bewusst sein, automatisierten Empfehlungen zu stark zu vertrauen (Automation Bias).
Sie sollen KI-Ergebnisse auch ignorieren oder überstimmen können.
Artikel 4 fordert darüber hinaus Maßnahmen zur Förderung von KI-Kompetenz bei Personen, die KI-Systeme einsetzen.
Das ist sinnvoll.
Aber „Human in the Loop“ ist noch keine Garantie für einen funktionierenden Gegencheck.
Wenn der Mensch dieselbe Ausgangsannahme teilt wie das System, entsteht möglicherweise keine Kontrolle, sondern doppelte Bestätigung.
Vier Augen helfen wenig, wenn alle vier durch denselben Frame schauen.
Gute KI-Governance braucht Korrekturfähigkeit
Damit verschiebt sich der Fokus.
KI-Risikomanagement sollte nicht nur fragen, ob ein System sicher, nachvollziehbar und regelkonform arbeitet. Ebenso wichtig ist, ob ein Entscheidungsprozess seine eigenen Annahmen noch korrigieren kann.
Dafür helfen fünf einfache Gegenfragen:
Welche Annahme steckt bereits in unserer Frage? Bevor wir den Output prüfen, prüfen wir den Input.
Was müsste wahr sein, damit unsere Erklärung falsch ist? Wer nur nach Bestätigung sucht, testet keine Hypothese.
Welche plausible Gegenerklärung wurde bisher nicht untersucht? Gute Entscheidungen brauchen konkurrierende Modelle der Wirklichkeit.
Würden wir dieselbe Aussage akzeptieren, wenn sie von jemandem käme, dessen Position wir ablehnen? Dieser Symmetrie-Test entlarvt erstaunlich viele Doppelstandards.
Welche Information würde unsere Entscheidung tatsächlich verändern? Wenn die Antwort „keine“ lautet, läuft möglicherweise keine Prüfung mehr, sondern nur noch Rechtfertigung.
Das sind keine Ersatzmaßnahmen für technische Sicherheit, Datenschutz, Compliance oder den EU AI Act.
Sie ergänzen sie auf einer Ebene, die leicht übersehen wird:
die Qualität des Denkprozesses selbst.
KI kann unsere Denkfehler skalieren – oder sichtbar machen
Bis hierhin klingt KI hauptsächlich nach zusätzlichem Risiko.
Auch das wäre einseitig. Denn dieselbe Technologie kann hervorragend als Gegencheck eingesetzt werden.
Eine KI kann Gegenhypothesen erzeugen, die stärkste Gegenposition formulieren, versteckte Voraussetzungen suchen, Argumente auf logische Symmetrie prüfen oder aufzeigen, welche Informationen für eine Entscheidung noch fehlen.
Entscheidend ist, welche Rolle wir ihr geben.
Nutzen wir sie als Bestätigungsmaschine, bekommen wir bessere Begründungen für das, was wir ohnehin glauben wollten.
Nutzen wir sie als Gegenüber, das ausdrücklich widersprechen soll, kann sie helfen, Denkfehler früher sichtbar zu machen.
Das ist vielleicht die interessantere Form von KI-Kompetenz:
nicht nur zu wissen, wie man bessere Antworten bekommt, sondern auch, wie man bessere Zweifel erzeugt.
Fazit: Nicht Mensch gegen Maschine, sondern Fehler gegen Korrektur
Die Diskussion um KI-Governance wird häufig als Kontrollfrage geführt: Wie verhindern wir, dass KI falsche Entscheidungen trifft?
Die Frage ist wichtig, aber unvollständig.
Unternehmen brauchen Prozesse, in denen weder die KI noch der Mensch epistemische Immunität bekommt.
Eine KI darf nicht deshalb recht haben, weil ihre Antwort souverän klingt. Ein Mensch darf nicht deshalb recht haben, weil er Verantwortung trägt, Erfahrung besitzt oder am Ende „Human Oversight“ im Prozessdiagramm steht.
Fehler werden sich nicht vollständig vermeiden lassen.
Die entscheidende Fähigkeit eines Systems ist deshalb Korrekturfähigkeit.
Kann ein Team seine eigenen Annahmen noch hinterfragen?
Darf eine plausible Erklärung wieder geöffnet werden?
Wird Widerspruch geprüft oder sozial bestraft?
Und kann eine KI helfen, blinde Flecken sichtbar zu machen, statt sie nur überzeugender auszuformulieren?
Dann wird KI-Governance mehr als eine Sammlung von Regeln.
Sie wird Teil besserer Entscheidungsqualität.
KI-Alignment im Gegencheck
Wenn ihr bereits KI-Anwendungen einsetzt, können wir genau diese Schleife an euren eigenen Beispielen prüfen: Antworten, Bewertungskriterien, blinde Flecken und die Frage, wo eure KI euer Denken tatsächlich erweitert – und wo sie lediglich eure Erwartungen bestätigt.
EU AI Act – Artikel 4, KI-Kompetenz, Artikel 14, menschliche Aufsicht bei Hochrisiko-KI
Bias in the Loop: How Humans Evaluate AI-Generated Suggestions (2026)
IBM, 15. Oktober 2026: KI-Vorfälle und Governance
