Alle Beiträge
KI-Agenten in der Praxis: Wie viel Autonomie ist sinnvoll?
KI-Agenten übernehmen zunehmend eigenständig Aufgaben. Doch mit wachsender Autonomie steigt auch die Verantwortung.
16.09.2026 Sina Schäfer
ShareGenerative KI beeindruckt mit geschliffener Sprache und scheinbar grenzenlosem Wissen. Doch genau diese Souveränität macht Fehler schwer erkennbar. KI-Halluzinationen können fachlich und plausibel klingen, obwohl sie faktisch falsch sind. Gleichzeitig unterliegen auch Menschen Fehlurteilen, geprägt von Erfahrung, Erwartung und Intuition. Kritisch wird es, wenn sich beide Fehlerquellen gegenseitig bestätigen und ungeprüft in betriebliche Entscheidungen einfließen. Für Unternehmen stellt sich daher die Frage, wie KI-gestützte Entscheidungsprozesse gestaltet sein müssen, damit menschliche und maschinelle Fehlurteile sich gegenseitig korrigieren, statt sich zu bestätigen.
75 Prozent. So hoch lag die Halluzinationsrate von OpenAIs o4-mini im SimpleQA-Test, als das Modell im April 2025 vorgestellt wurde. Als Reasoning-Modell wurde es für komplexere Aufgaben und schrittweises Denken entwickelt. Trotz der hohen Fehlerquote lieferte das System in 99 Prozent der Fälle eine Antwort. Nur in einem Prozent der Fälle enthielt es sich, weil es die Antwort nicht verlässlich geben konnte. Das Modell gab also fast immer eine Antwort, auch wenn diese nicht belastbar war. Im August 2025 sah das Bild beim GPT-5 Thinking Mini dann schon anders aus. Im gleichen Test sank die Halluzinationsrate auf 26 Prozent und das Modell enthielt sich in 52 Prozent der Fälle einer Antwort. Es wurde also nicht nur besser darin, richtige Antworten zu geben, sondern auch darin, die eigenen Grenzen zu erkennen.
Der sichere Ton falscher Antworten
Was plausibel klingt und zu bestehenden Erwartungen passt, wird häufig weniger kritisch hinterfragt. Das gilt für Aussagen von Menschen ebenso wie für Antworten einer KI. Trifft eine solche Aussage auf eine Vermutung, die ein Nutzer ohnehin bereits hat, steigt das Risiko, dass sie vorschnell als Bestätigung verstanden wird. Die KI liefert dann eine plausible, aber falsche Antwort, während der Mensch aufgrund seiner eigenen Erwartung weniger Anlass sieht, sie zu hinterfragen.
So können sich maschineller Fehler und menschliches Fehlurteil schnell gegenseitig verstärken.
Dass eine KI halluziniert, hängt mit ihrer Funktionsweise zusammen. Large Language Models sind keine Wissensdatenbanken, sondern statistische Rechenmodelle für Sprache. Ohne zusätzliche Anbindung an geprüfte Quellen rufen sie Fakten nicht wie eine Datenbank ab, sondern erzeugen Antworten auf Basis statistischer Muster. Wenn Informationen fehlen oder widersprüchlich sind, füllt das Modell diese Lücke mit einem statistisch wahrscheinlichen Begriff. Das Ergebnis ist eine sprachlich logische, aber faktisch falsche Aussage.
Wie schwer solche Fehler zu erkennen sein können, zeigte 2023 Googles Chatbot Bard: Er schrieb dem James-Webb-Weltraumteleskop fälschlicherweise die ersten Bilder eines Exoplaneten zu, obwohl diese bereits 2004 entstanden waren. Die Aussage klang überzeugend, war aber falsch. Im Anschluss sank der Marktwert des Google-Mutterkonzerns Alphabet zeitweise um rund 100 Milliarden US-Dollar.
Der Einfluss von Erfahrung und Erwartung
Während die KI aus statistischen Gründen halluziniert, unterliegt der Mensch psychologischen Mechanismen. Menschliches Denken ist ein komplexes Zusammenspiel aus Erfahrung, Emotion, Erwartung und Intuition. Er ist biologisch darauf programmiert, Muster zu erkennen und Informationen schnell einzuordnen. Das macht ihn in sozialen Situationen und bei intuitiven Entscheidungen überlegen, führt aber auch regelmäßig zu systematischen Fehlern.
Ein Beispiel dafür ist der sogenannte Confirmation Bias: Informationen werden eher als wahr akzeptiert, wenn sie die eigene Meinung stützen. Bestätigt eine KI eine bereits vorhandene Vermutung, wird die Antwort oft weniger kritisch hinterfragt.
Ein weiteres Phänomen ist die Konfabulation. Ähnlich wie die KI füllen Menschen Wissenslücken unbewusst mit Details auf, die für sie logisch klingen. Informationen werden so ergänzt, dass sie ein stimmiges Gesamtbild ergeben.
Ein Risiko entsteht, wenn sich menschliche und maschinelle Fehler gegenseitig bestätigen. Eine KI erzeugt eine plausible Falschaussage, ein Mitarbeiter hält sie aufgrund seiner Erwartungen für glaubwürdig und übernimmt sie. Umgekehrt kann auch eine korrekte KI-Antwort verworfen werden, weil sie der bisherigen Einschätzung des Menschen widerspricht. Fließt so etwas in einen Forecast, eine Beschaffungsentscheidung oder eine Managementvorlage ein, wird aus einem einzelnen kleinen Fehler schnell ein betrieblicher Fehler.
Vier Kontrollpunkte für KI-gestützte Entscheidungen
Entscheidend ist deshalb: Wie müssen Prozesse gestaltet sein, damit menschliche und maschinelle Fehlurteile sich korrigieren statt bestätigen? Vier Kontrollpunkte helfen dabei:
- Quellenbindung: Bei faktenkritischen Anwendungen muss nachvollziehbar sein, worauf eine Aussage beruht und wo Unsicherheit besteht.
- Prüfung nach Wirkung: Je größer die mögliche betriebliche Wirkung, desto höher sollte die Prüf- und Freigabestufe sein.
- Widerspruch zulassen: Bei wichtigen Entscheidungen sollten alternative Erklärungen oder eine zweite fachliche Prüfung bewusst vorgesehen sein.
- Verantwortung klären: Es muss klar sein, wer Ergebnisse prüft, hinterfragt und am Ende die Entscheidung verantwortet.
Weniger Raum für plausible Fehler
Damit wird KI nicht automatisch fehlerfrei, doch die Bedingungen, unter denen Fehler entstehen und wirksam werden, lassen sich besser kontrollieren. Geprüfte Informationen reduzieren den Spielraum für plausible Ergänzungen. Quellenbindung, Prüfung und bewusster Widerspruch sorgen dafür, dass Fehler auffallen können, bevor sie betriebliche Wirkung entfalten.
Fehlerfreiheit ist weder bei Menschen noch bei generativer KI ein realistischer Maßstab.
Entscheidend ist deshalb nicht, wer weniger Fehler macht, sondern wie ein Entscheidungs-prozess damit umgeht, dass Fehler entstehen können.
Human-in-the-Loop bedeutet in diesem Zusammenhang, Mensch und Maschine so zusammenwirken zu lassen, dass Fehlurteile hinterfragt und möglichst früh korrigiert werden. Dafür braucht es verlässliche Rahmenbedingungen und klare Zuständigkeiten. In der nächsten Phase der KI-Nutzung kommt es daher weniger auf möglichst beeindruckende als auf belastbare Antworten und einen bewussten Umgang mit den Grenzen beider Seiten an.
ÜBER UNSERE EXPERT:INNEN
Sina Schäfer
Corporate Communications Managerin
Sina Schäfer arbeitet seit 2021 als Corporate Communications Managerin im Corporate Marketing bei INFORM. Ihr Fokus liegt auf der externen Kommunikation zu den Themen Inventory & Supply Chain, Produktion und Industrielogistik.
