Am 14. Februar 2024 entschied ein kanadisches Gericht (British Columbia Civil Resolution Tribunal), dass Air Canada einem Kunden eine Erstattung zahlen muss, weil der Chatbot der Fluggesellschaft eine „Bereavement Fare“ (Trauerfall-Ermäßigung) versprochen hatte, die es tatsächlich nicht gab. Das Gericht schrieb unmissverständlich: „Air Canada suggeriert, der Chatbot sei eine eigenständige juristische Person, die für ihr eigenes Handeln verantwortlich ist. Das ist eine bemerkenswerte Auffassung. Der Chatbot ist Teil der Website von Air Canada. Es sollte offensichtlich sein, dass das Unternehmen für alle Informationen auf seiner Website verantwortlich ist“. Das ist der erste bekannte Präzedenzfall, aber nicht der letzte.
Einen Monat zuvor musste der britische Paketdienst DPD seinen Chatbot notfallmäßig abschalten, nachdem dieser, von einem Kunden provoziert, zu fluchen begann und DPD als „schlechtestes Lieferunternehmen der Welt“ bezeichnete. Das Video ging innerhalb von 24 Stunden um die Welt. Im März 2024 enthüllten Journalisten von The Markup, dass der städtische Chatbot MyCity, eingeführt vom New Yorker Bürgermeister Eric Adams, Unternehmern zu Rechtsverstößen riet: Schwangere entlassen, Trinkgelder einbehalten, Mietern mit Sozialgutscheinen die Wohnung verweigern.
Der gemeinsame Nenner dieser drei Geschichten: ein KI-Chatbot, der etwas erfunden hat, das reale Konsequenzen hatte. Dieses Phänomen nennen wir Halluzination. In diesem Artikel zeigen wir 6 Signale, dass Ihr Chatbot gerade zu halluzinieren beginnen könnte, einen Rechner für das finanzielle Risiko, ein Quiz zur Selbstdiagnose und 6 Mechanismen, die Halluzinationen in der Praxis verhindern. Zum Schluss zeigen wir, wann das Problem tiefer liegt und der Chatbot durch einen KI-Agenten ersetzt werden muss.
Was sind KI-Halluzinationen (in 3 Sätzen)
Ein Sprachmodell (LLM) erzeugt Antworten, indem es auf Basis von Statistik die wahrscheinlichsten nächsten Wörter vorhersagt. Es „weiß“ nichts über die Welt, sondern ahmt Muster aus den Trainingsdaten nach. Eine Halluzination entsteht, wenn das Modell eine sprachlich stimmige, aber falsche Antwort erzeugt (es erfindet Preise, Termine, Gerichtsurteile, verspricht nicht existierende Rabatte, zitiert nicht vorhandene Quellen). Wichtig: Das Modell „lügt“ nicht bewusst. Es tut einfach das, wofür es entwickelt wurde, nur ohne Mechanismus zur Faktenprüfung.
Sechs Signale, dass Ihr Chatbot zu halluzinieren beginnt
1. Er nennt konkrete Zahlen, Preise oder Termine, die nicht in Ihrer Datenbank stehen
Das ist das gefährlichste Signal im E-Commerce und im B2B-Vertrieb. Ein Kunde fragt nach dem Preis eines Produkts, das der Chatbot nicht im Kontext hat, und erhält die Antwort „399 PLN“, vom Modell auf Basis des statistischen Preises ähnlicher Produkte erfunden. Der Kunde reklamiert, wenn er im Checkout einen anderen Betrag sieht. Im Fall Air Canada kostete das Urteil die Airline 650 CAD Erstattung plus Verfahrenskosten. Es geht nicht um ein paar hundert Euro, sondern um den Präzedenzfall: Das Unternehmen haftet für jede Zahl, die sein Chatbot einem Kunden nennt.
2. Er zitiert „Quellen“, aber ohne Links (oder mit Links, die nicht funktionieren)
Wenn Sie den Chatbot nach der Rechtsgrundlage einer Antwort fragen und er „gemäß dem Datenschutzgesetz von 2019“ antwortet, ohne auf ein konkretes Gesetzblatt zu verlinken, ist das ein Zeichen, dass er den Namen erfindet. 2023 zitierte der US-Anwalt Steven Schwartz vor einem New Yorker Gericht 6 von ChatGPT generierte Urteile. Alle waren erfunden. Das Gericht verhängte Sanktionen gegen die Kanzlei, und der Fall ging als Lehrbuchbeispiel für Halluzinationen um die Welt. Ein Chatbot ohne Anbindung an eine echte Wissensdatenbank wird immer Gefahr laufen, „plausible“ Zitate zu erzeugen, die nie jemand geschrieben hat. Mehr darüber, wie Sie KI an echte Quellen anbinden, lesen Sie im Artikel Was ist RAG und warum KI ohne RAG Dinge erfindet.
3. Er antwortet mit hoher Sicherheit auf Fragen außerhalb des Kontexts
Ein gut konzipierter Chatbot sollte auf die Frage „Was kostet unser Produkt XYZ“ antworten: „Ich finde Produkt XYZ nicht in der Datenbank“ oder „Ich leite Ihre Frage an einen Berater weiter“. Sagt er stattdessen „Das Produkt XYZ kostet 1.200 PLN“, obwohl XYZ in Ihrem Sortiment gar nicht existiert, halluziniert der Chatbot. Der Schlüssel zur Behebung: Anweisungen an das Modell, „ich weiß es nicht“ zu sagen, dazu RAG, das nur Kontext aus Ihrer Dokumentation liefert, und ein Guardrail, das Antworten zu Themen außerhalb des Scopes blockiert.
4. Er „ändert seine Meinung“: zwei verschiedene Antworten auf dieselbe Frage
Stellen Sie dem Chatbot dieselbe Frage fünfmal in verschiedenen Fenstern. Antwortet er in jeder Sitzung etwas anders und tauchen in zwei von fünf Antworten unterschiedliche Zahlen oder Termine auf, würfelt das Modell seine Antworten aus. Das zeigt, dass es intern keine Quelle der Wahrheit gibt, sondern nur aus einer Wahrscheinlichkeitsverteilung generiert wird. Ein gut gebauter Chatbot mit Grounding antwortet auf Fragen aus der Wissensdatenbank zu 100% reproduzierbar und sagt zu allem anderen „ich weiß es nicht“.
5. Er macht Versprechen, die nicht in seiner Kompetenz liegen
Der Chatbot verspricht dem Kunden eine „kostenlose Rückgabe innerhalb von 60 Tagen“, obwohl Ihre Richtlinie 14 Tage vorsieht. Er verspricht 20% Rabatt für die Registrierung, obwohl es keine Aktion gibt. Er verspricht Lieferung „morgen bis 17:00 Uhr“, obwohl die tatsächliche Lieferzeit 3-5 Werktage beträgt. Genau das ist das Air-Canada-Szenario: Der Chatbot versprach eine Erstattungsregel, die es nicht gab. Das Gericht entschied, dass das Unternehmen das Versprechen des Chatbots einlösen muss. Arbeitsregel: Ein Chatbot darf niemals Zusagen erzeugen. Er darf bestehende Richtlinien beschreiben, aber jede neue Verpflichtung gegenüber dem Kunden muss über einen Menschen laufen oder fest im Code definiert sein.
6. Er kann nicht „ich weiß es nicht“ sagen
Das ist die Grundlage für alles oben Genannte. Wenn Ihr Chatbot auf eine absurde Frage („Verkauft Ihre Firma elektrische Wale?“) irgendeine Antwort erzeugt, statt „Ich finde dazu keine Informationen“ zu sagen, halluziniert das Modell schon von Natur aus. Dem Modell beizubringen, eine Antwort zu verweigern, ist genauso wichtig, wie ihm das Antworten beizubringen. In der Praxis tun wir das mit einer Systemanweisung wie: „Beantworte ausschließlich Fragen zu X. Auf alles andere antworte: Ich finde keine Informationen, ich leite an einen Berater weiter“.
Risikorechner: Was Halluzinationen Sie pro Monat kosten
Halluzinationen sehen aus wie ein technisches Problem, sind aber ein geschäftliches. Der Rechner unten zeigt die erwarteten Kosten von Halluzinationen in Ihrem Unternehmen auf Basis von Branche, Anfragevolumen und den durchschnittlichen Kosten einer falschen Antwort.
Kalkulator ryzyka halucynacji
Wählen Sie die Branche (schlägt Standardwerte vor), stellen Sie das Volumen und die Ø-Kosten einer falschen Antwort ein. Ergebnis: erwartete Kosten von Halluzinationen pro Monat/Jahr + Risikostufe.
Der Rechner geht davon aus, dass jede Halluzination reale Kosten verursacht (Rückerstattung, Reklamation, Rechtsstreit, Kundenverlust). In der Praxis bleiben manche Halluzinationen unsichtbar (der Kunde erhält eine falsche Antwort, unternimmt aber nichts), andere sind sehr teuer (wie der Fall Air Canada). Die realen Kosten liegen meist irgendwo zwischen dem Erwartungswert und unendlich.
Sechs Mechanismen, die Halluzinationen verhindern
In unserer Praxis KI-Implementierungen setzen wir die folgenden Mechanismen als Paket ein. Jeder für sich reduziert Halluzinationen teilweise, erst zusammen ergeben sie eine Architektur, von der Sie Rechtsabteilung und Compliance überzeugen können.
Mechanizm 1: RAG (Retrieval Augmented Generation)
Der wirksamste einzelne Mechanismus. Statt das Modell sich an irgendetwas „erinnern“ zu lassen, geben Sie ihm den Kontext erst im Moment der Anfrage: „Beantworte die Frage des Kunden ausschließlich auf Basis der folgenden Dokumentationsauszüge“. Das Modell halluziniert nicht aus dem Nichts, sondern verarbeitet konkrete Absätze aus Ihrer Datenbank. Details im Artikel Was ist RAG und warum KI ohne RAG Dinge erfindet.
Mechanismus 2: Guardrails (Sperre für Themen außerhalb des Scopes)
Eine Schicht über dem Chatbot, die sowohl Fragen als auch Antworten filtert. Fragt der Kunde nach etwas außerhalb Ihres Fachgebiets, fängt das Guardrail die Frage ab und antwortet „das liegt außerhalb meines Bereichs“. Erzeugt das Modell eine Antwort mit nicht autorisierten Versprechen (z. B. „ich garantiere 50% Rabatt“), blockiert das Guardrail sie. Bekannte Bibliotheken: NVIDIA NeMo Guardrails, Guardrails AI, Rebuff (zur Erkennung von Prompt Injection wie im Fall DPD).
Mechanismus 3: Quellenangaben
Das Modell muss in jeder Antwort angeben, aus welchem Teil der Wissensdatenbank die Information stammt. Kann es keine Quelle nennen, halluziniert es. Perplexity hat auf diesem Mechanismus ein ganzes Produkt aufgebaut. In einem Unternehmens-Chatbot sieht das so aus, dass unter jeder Antwort „Quelle: Dokument-XYZ, Seite 12“ mit Link zum Dokument erscheint. Der Kunde kann es prüfen, und das Modell weiß, dass es nichts erfinden kann, weil die Quelle anklickbar ist.
Mechanizm 4: Tool use (function calling) zamiast zgadywania
Der zentrale Mechanismus für Szenarien mit Zahlen und Systemzuständen. Statt das Modell „dem Kunden den Preis sagen“ zu lassen, geben Sie ihm ein Werkzeug: eine Funktion getPrice(productId), die das Modell aufrufen muss. Das Modell erzeugt den Preis nicht „aus dem Kopf“, sondern ruft die Funktion auf, erhält den echten Wert aus der Datenbank und gibt ihn an den Kunden weiter. Dasselbe Muster funktioniert für Lagerbestände, Liefertermine, Bestellstatus und Rückgaberichtlinien. Genau dieser Mechanismus unterscheidet einen Chatbot von einem KI-Agenten.
Mechanismus 5: Human-in-the-Loop in kritischen Szenarien
Nicht jede Antwort muss ohne Menschen hinausgehen. In Hochrisikoszenarien (Zusagen, Rechts-, Medizin- oder Finanzberatung) erstellt der Chatbot einen Entwurf, ein Mensch gibt ihn frei. Das heißt nicht, dass KI keinen Sinn ergibt, sondern dass die KI 90% der Arbeit erledigt und der Mensch den letzten Klick auf „Senden“ macht. Das senkt das Halluzinationsrisiko in diesen Szenarien auf null, bei 5-10x schnellerer Bearbeitung. Mehr zur erfolgreichen KI-Implementierung in regulierten Branchen: KI für Juristen: 5 Fallstricke.
Mechanismus 6: Modellwahl und On-Premise für sensible Szenarien
Nicht alle Modelle halluzinieren gleich. Claude 4.7 (Anthropic) halluziniert statistisch weniger als GPT-4o, und Perplexity hat eine integrierte Schicht zur Quellenprüfung. Für kritische Szenarien lohnt sich ein privates On-Premise-Modell, mit Fine-Tuning ausschließlich auf Ihren verifizierten Dokumenten, bei dem Sie alles kontrollieren, von den Daten bis zu den Inferenzparametern. Vollständiger Vergleich: KI-Automatisierung mit ChatGPT? 6 Alternativen für Unternehmen 2026 Und Privates LLM im Unternehmen: wann On-Premise sinnvoll ist.
Vergleich der Mechanismen: Kosten, Qualität, Schwierigkeit
| Mechanismus | Redukcja halucynacji | Implementierungskosten | Schwierigkeit | Wann zu verwenden |
|---|---|---|---|---|
| RAG | 60-80% | 15.000-40.000 PLN | mittel | zawsze, fundament |
| Guardrails | 20-40% | 5.000-15.000 PLN | leicht | publiczne chatboty |
| Quellenangaben | 30-50% | 3.000-10.000 PLN | leicht | bazy wiedzy, prawo, medycyna |
| Tool use | 70-90% | 20.000-60.000 PLN | mittel | ceny, stany, statusy, obietnice |
| Human-in-the-loop | 90-99% | proces + koszt godzin | leicht | doradztwo, umowy, wysokie kwoty |
| Prywatny model + fine-tuning | 40-60% | 60.000-200.000 PLN | trudna | compliance, sektor regulowany |
Faustregel aus unseren Implementierungen: Das Fundament ist RAG + Guardrails + Quellenangaben (zusammen eine Reduktion der Halluzinationen um 80-90% für 25.000-65.000 PLN). Erst wenn Sie danach noch kritische Szenarien haben, ergänzen Sie Tool Use und Human-in-the-Loop. Ein privates Modell kommt nur dann ins Spiel, wenn die DSGVO oder ein Kundenvertrag es erfordert, das haben wir ausführlich beschrieben im Artikel Privates LLM im Unternehmen.
Prüfen Sie mit 7 Fragen, ob Ihr Chatbot halluziniert
Beantworten Sie 7 Fragen ehrlich. Das Ergebnis ist keine genaue Diagnose, sondern ein Indikator, ob sich ein Audit lohnt.
Wenn ein Chatbot nicht reicht: der Umstieg auf einen KI-Agenten
Ein Chatbot antwortet. Ein KI-Agent handelt. Dieser Unterschied hängt direkt mit Halluzinationen zusammen: Ein KI-Agent errät keinen Preis, sondern ruft eine Funktion auf getPrice(). Er verspricht keine Lieferung für morgen, sondern prüft den Lagerbestand über eine API. Er zitiert die Rückgaberichtlinie nicht aus dem Gedächtnis, sondern liest sie im Moment der Antwort aus der Dokumentendatenbank.
Drei Situationen, in denen Sie den Chatbot zugunsten eines KI-Agenten aufgeben sollten:
- Der Kunde erwartet, dass die KI eine Aufgabe für ihn erledigt (Bestellung aufgeben, Status prüfen, Termin ändern), und nicht nur eine Frage beantwortet.
- Antworten erfordern aktuelle Daten aus Systemen (ERP, CRM, Lager), nicht nur Wissen aus der Dokumentendatenbank.
- Das Halluzinationsrisiko ist so hoch, dass jedes Versprechen real überprüft werden muss (Finanzen, Medizin, Recht, hohe Beträge im B2B).
Weitere praxisnahe Szenarien für den Umstieg vom Chatbot auf einen Agenten zeigen wir im Artikel Automatisierung im B2B-Vertrieb: 7 Prozesse.
Lassen Sie Ihren Chatbot prüfen, bevor eine Halluzination Sie den ersten Rechtsstreit kostet
Wir kommen in Ihr Unternehmen, testen den Chatbot an 50 realen Szenarien, messen den Anteil der Halluzinationen und entwerfen eine Abwehrarchitektur (RAG, Guardrails, Tool Use). Ergebnis: ein einseitiger Bericht mit konkreten Empfehlungen und einem Angebot für die Implementierung.
KI-Audit vereinbarenHäufig gestellte Fragen
Lassen sich Halluzinationen in KI-Chatbots überhaupt eliminieren?
Auf null, nein. Die statistische Natur von Sprachmodellen bedeutet, dass immer eine Wahrscheinlichkeit größer null für Halluzinationen besteht. Man kann sie jedoch auf ein geschäftlich akzeptables Niveau reduzieren (unter 1% bei normalen Anfragen, unter 0,1% in kritischen Szenarien mit Human-in-the-Loop). Der Schlüssel ist die Architektur: RAG + Guardrails + Quellenangaben + Tool Use + Monitoring.
Wer haftet rechtlich für die Halluzination eines Unternehmens-Chatbots?
In der Praxis: das Unternehmen, das den Chatbot bereitgestellt hat. Der Präzedenzfall Moffatt v. Air Canada (British Columbia Civil Resolution Tribunal, Februar 2024) ist eindeutig: Das Gericht wies das Argument der Airline zurück, „der Chatbot sei eine eigenständige Einheit“. In der polnischen Rechtsordnung gibt es (noch) kein vergleichbares Urteil, aber die Grundsätze des Vertrags- und Verbraucherschutzrechts führen zum selben Ergebnis. Der Kunde vertraut den Informationen auf der Website des Unternehmens, der Chatbot ist Teil der Website, das Unternehmen haftet.
Beseitigt RAG Halluzinationen zu 100%?
Nein. RAG liefert dem Modell Kontext, aber das Modell kann trotzdem eine Antwort erzeugen, die nicht ganz mit diesem Kontext übereinstimmt (Halluzination „im Kontext“). Es reduziert Halluzinationen um 60-80%, aber ein vollständiges Schutzpaket erfordert zusätzlich Guardrails, Quellenangaben, Tool Use und Monitoring. Details im Artikel Was ist RAG und warum KI ohne RAG Dinge erfindet.
Welches Modell halluziniert am wenigsten?
In Halluzinations-Benchmarks (Vectara HHEM, TruthfulQA) liegen Claude 4.7, GPT-4o und Gemini 2.5 Pro praktisch gleichauf vorn. Perplexity hat eine integrierte Quellenprüfung und ist daher für Szenarien nach dem Muster „suchen und zitieren“ am sichersten. Open-Source-Modelle (Llama 3.3, Mistral Large) halluzinieren 5-15% häufiger, aber die Architektur um sie herum gleicht den Unterschied aus. Einen Vergleich der Modelle und Alternativen zu ChatGPT finden Sie im Artikel KI-Automatisierung mit ChatGPT? 6 Alternativen für Unternehmen 2026.
Wie testet man einen Chatbot auf Halluzinationen?
Unser Standardansatz: ein Set aus 50-100 Kontrollfragen, für jede ist eine „korrekte“ Antwort definiert. Wir lassen den Chatbot einmal pro Woche automatisch diese Fragen beantworten und vergleichen die Antworten mit den Referenzen (ein zweites KI-Modell bewertet die Übereinstimmung). Abweichungen >10% bei derselben Frage in aufeinanderfolgenden Wochen = Regression. Zusätzlich Adversarial-Tests: Prompt Injection, Fangfragen, Versuche, Zusagen zu entlocken (Rabatte, Termine).
Was kostet die Implementierung eines vollständigen Schutzes vor Halluzinationen?
Das Fundament (RAG + Guardrails + Quellenangaben) kostet typischerweise einmalig 25.000-65.000 PLN + 500-1500 PLN/Monat Wartung. Das vollständige Paket mit Tool Use, Monitoring und Human-in-the-Loop für kritische Szenarien: einmalig 80.000-200.000 PLN + 2.000-5.000 PLN/Monat. Ein privates On-Premise-Modell verursacht zusätzlich Kosten für GPU-Infrastruktur (TCO-Rechner im Artikel Privates LLM im Unternehmen).
Halluziniert ein alter regelbasierter Chatbot (ohne KI) nicht?
Er halluziniert nicht, hat aber andere Probleme: Er versteht keine sprachlichen Variationen, jede Regel muss manuell geschrieben werden, und der Kunde merkt schnell, dass es ein „dummer Bot“ ist, und wechselt zum Berater. KI bietet ein besseres Kundenerlebnis, bringt aber ein Halluzinationsrisiko mit sich, das man architektonisch adressieren muss. Eine Rückkehr zu regelbasierten Systemen ergibt nur in sehr einfachen Szenarien Sinn (5-10 typische Fragen).
