14 lutego 2024 kanadyjski sąd (British Columbia Civil Resolution Tribunal) orzekł, że Air Canada musi wypłacić klientowi zwrot, ponieważ chatbot tej lini lotniczej obiecał politykę „bereavement fare” (zniżki żałobne), która realnie nie istniała. Sędzia napisał wprost: „Air Canada sugeruje, że chatbot to odrębna osoba prawna, odpowiedzialna za własne działania. To wyjątkowe podejście. Chatbot to część strony Air Canada. Powinno być oczywiste, że firma odpowiada za wszystkie informacje na swojej stronie”. To pierwszy głośny precedens, ale nie ostatni.
Miesiąc wcześniej brytyjska firma kurierska DPD musiała awaryjnie wyłączyć chatbota, gdy ten po zabawie klienta zaczął przeklinać i nazwał DPD „najgorszą firmą kurierską na świecie”. Wideo obiegło internet w 24 godziny. W marcu 2024 dziennikarze The Markup ujawnili, że miejski chatbot MyCity uruchomiony przez burmistrza Nowego Jorku Erica Adamsa doradzał przedsiębiorcom łamanie prawa: zwalnianie kobiet w ciąży, zabieranie napiwków pracownikom, odmawianie najmu osobom z bonów socjalnych.
Wspólny mianownik tych trzech historii: chatbot AI, który zmyślił coś, co miało realne konsekwencje. To zjawisko nazywamy halucynacją. W tym artykule pokazujemy 6 sygnałów, że Twój chatbot może właśnie zacząć halucynować, kalkulator ryzyka finansowego, quiz do samodiagnozy i 6 mechanizmów, które w praktyce blokują halucynacje. Na koniec pokazujemy, kiedy problem jest głębszy i chatbota trzeba zastąpić agentem AI.
Czym są halucynacje AI (w 3 zdaniach)
Model językowy (LLM) generuje odpowiedzi przewidując najbardziej prawdopodobne kolejne słowa na podstawie statystyk. Nie „wie” nic o świecie, tylko naśladuje wzorce z danych treningowych. Halucynacja pojawia się, gdy model wygeneruje odpowiedź spójną językowo, ale nieprawdziwą (wymyśla ceny, terminy, orzeczenia sądowe, obiecuje rabaty, których nie ma, cytuje nieistniejące źródła). Ważne: model nie „kłamie” świadomie, on po prostu robi to, do czego został zaprojektowany, ale bez mechanizmu weryfikacji faktów.
Sześć sygnałów, że Twój chatbot zaczyna halucynować
1. Podaje konkretne liczby, ceny albo daty, których nie ma w Waszej bazie
To najbardziej niebezpieczny sygnał w e-commerce i sprzedaży B2B. Klient pyta o cenę produktu, którego chatbot nie ma w kontekście, i dostaje odpowiedź „399 zł” wymyśloną przez model na podstawie statystycznej ceny podobnych produktów. Klient składa reklamację, gdy w checkoucie widzi inną kwotę. W przypadku Air Canada wyrok kosztował linie 650 CAD zwrotu, plus koszty postępowania. To nie jest o setki złotych, tylko o precedens: firma odpowiada za każdą liczbę, którą jej chatbot podaje klientowi.
2. Cytuje „źródła”, ale bez linków (albo z linkami, które nie działają)
Kiedy zapytasz chatbota o podstawę prawną odpowiedzi, a on odpowie „zgodnie z ustawą z 2019 roku o ochronie danych”, nie linkując do konkretnego dziennika ustaw, to znak, że zmyśla nazwę. W 2023 amerykański adwokat Steven Schwartz cytował w sądzie w Nowym Jorku 6 orzeczeń wygenerowanych przez ChatGPT. Wszystkie były wymyślone. Sąd nałożył sankcje na kancelarię, a sprawa obiegła świat jako podręcznikowy przykład halucynacji. Chatbot bez integracji z realną bazą wiedzy zawsze będzie ryzykował generowanie „prawdopodobnych” cytatów, których nikt nigdy nie napisał. Więcej o tym, jak podpiąć AI do prawdziwych źródeł, znajdziesz w tekście Co to jest RAG i dlaczego bez niego AI zmyśla.
3. Odpowiada z wysoką pewnością na pytania spoza kontekstu
Dobrze zaprojektowany chatbot na pytanie „jaka jest cena naszego produktu XYZ” powinien odpowiedzieć „nie znajduję w bazie produktu XYZ” albo „przekazuję pytanie do konsultanta”. Jeśli zamiast tego mówi „cena produktu XYZ to 1 200 zł”, a XYZ w ogóle nie istnieje w Waszej ofercie, chatbot halucynuje. Klucz do naprawy: instrukcje dla modelu, że ma powiedzieć „nie wiem”, plus RAG dający kontekst tylko z Waszej dokumentacji, plus guardrail blokujący odpowiedzi na tematy poza scope.
4. Ma „zmienne zdanie” — na to samo pytanie 2 różne odpowiedzi
Zadaj chatbotowi to samo pytanie 5 razy w różnych oknach. Jeśli w każdej sesji odpowiada trochę inaczej i w dwóch z pięciu odpowiedzi pojawiają się różne liczby lub terminy, model losuje sobie odpowiedzi. To znak, że wewnętrznie nie ma źródła prawdy, tylko generuje z rozkładu prawdopodobieństwa. Dobrze zbudowany chatbot z groundingiem odpowiada w 100% powtarzalnie na pytania z bazy wiedzy i mówi „nie wiem” na wszystko poza nią.
5. Składa obietnice, które nie leżą w jego kompetencji
Chatbot obiecuje klientowi „darmowy zwrot w ciągu 60 dni”, chociaż Wasza polityka to 14 dni. Obiecuje rabat 20% za rejestrację, chociaż promocji nie ma. Obiecuje termin dostawy „jutro do 17:00″, chociaż realny termin to 3-5 dni roboczych. To dokładnie scenariusz Air Canada: chatbot obiecał politykę zwrotu, której nie było. Sąd orzekł, że firma musi honorować obietnicę chatbota. Reguła robocza: chatbot nigdy nie może generować promise’ów. Może opisywać istniejące polityki, ale każde nowe zobowiązanie wobec klienta musi przechodzić przez człowieka albo być sztywno definiowane w kodzie.
6. Nie potrafi powiedzieć „nie wiem”
To fundament wszystkich powyższych. Jeśli Twój chatbot na absurdalne pytanie („czy Wasza firma sprzedaje elektryczne wieloryby”) generuje jakąś odpowiedź zamiast powiedzieć „nie znajduję informacji na ten temat”, to model halucynuje z samej swojej natury. Nauczenie modelu odmowy odpowiedzi jest tak samo ważne jak nauczenie go, żeby odpowiadał. W praktyce robimy to instrukcją systemową typu: „Odpowiadaj wyłącznie na pytania dotyczące X. Na wszystko inne odpowiedz: nie znajduję informacji, przekazuję do konsultanta”.
Kalkulator ryzyka: ile Cię kosztują halucynacje w miesiącu
Halucynacje wyglądają jak problem techniczny, ale są problemem biznesowym. Poniższy kalkulator pokazuje, jaki jest oczekiwany koszt halucynacji w Twojej firmie na podstawie branży, wolumenu zapytań i średniego kosztu jednej złej odpowiedzi.
Kalkulator ryzyka halucynacji
Wybierz branżę (podpowiada domyślne wartości), ustaw wolumen i śr. koszt jednej złej odpowiedzi. Wynik: oczekiwany koszt halucynacji w mc/rok + poziom ryzyka.
Kalkulator zakłada, że każda halucynacja generuje realny koszt (zwrot, reklamacja, spór prawny, utrata klienta). W praktyce niektóre halucynacje są niewidoczne (klient dostaje złą odpowiedź, ale nic z tym nie robi), inne są bardzo drogie (jak sprawa Air Canada). Realny koszt jest zwykle gdzieś pomiędzy oczekiwanym a nieskończonością.
Sześć mechanizmów, które blokują halucynacje
W naszej praktyce wdrożeń AI używamy poniższych mechanizmów jako pakietu. Każdy z osobna redukuje halucynacje częściowo, ale dopiero razem dają architekturę, do której możesz przekonać dział prawny i compliance.
Mechanizm 1: RAG (Retrieval Augmented Generation)
Najskuteczniejszy pojedynczy mechanizm. Zamiast pozwalać modelowi „pamiętać” cokolwiek, dajesz mu kontekst dopiero w momencie zapytania: „Odpowiedz na pytanie klienta w oparciu wyłącznie o poniższe fragmenty dokumentacji”. Model nie halucynuje z próżni, tylko przetwarza konkretne akapity z Twojej bazy. Detale w artykule Co to jest RAG i dlaczego bez niego AI zmyśla.
Mechanizm 2: Guardrails (blokada tematów poza scope)
Warstwa nakładana na chatbota, która filtruje zarówno pytania, jak i odpowiedzi. Jeśli klient pyta o coś spoza Twojej dziedziny, guardrail przechwytuje pytanie i zwraca „to jest poza moim zakresem”. Jeśli model wygeneruje odpowiedź, która zawiera nieautoryzowane obietnice (np. „gwarantuję 50% rabatu”), guardrail ją blokuje. Popularne biblioteki: NVIDIA NeMo Guardrails, Guardrails AI, Rebuff (do wykrywania prompt injection jak w przypadku DPD).
Mechanizm 3: Cytowanie źródeł
Model musi w każdej odpowiedzi wskazać, z którego fragmentu bazy wiedzy pochodzi informacja. Jeśli nie potrafi wskazać źródła, znaczy że halucynuje. Perplexity zbudował na tym mechanizmie cały produkt. W chatbocie firmowym wygląda to tak, że pod każdą odpowiedzią pojawia się „źródło: dokument-XYZ, strona 12″, z linkiem do dokumentu. Klient może zweryfikować, model wie, że nie może zmyślać, bo źródło jest kliknięte.
Mechanizm 4: Tool use (function calling) zamiast zgadywania
Kluczowy mechanizm dla scenariuszy z liczbami i stanem systemu. Zamiast pozwalać modelowi „powiedzieć klientowi cenę”, dajesz mu narzędzie: funkcję getPrice(productId), którą model musi wywołać. Model nie generuje ceny „z głowy”, tylko wywołuje funkcję, dostaje z bazy danych realną wartość i cytuje ją klientowi. Ten sam wzorzec działa dla stanów magazynowych, terminów dostaw, statusów zamówień, polityk zwrotów. To dokładnie ten mechanizm odróżnia chatbota od agenta AI.
Mechanizm 5: Human-in-the-loop w krytycznych scenariuszach
Nie każda odpowiedź musi wychodzić bez człowieka. W scenariuszach wysokiego ryzyka (składanie obietnic, doradztwo prawne, medyczne, finansowe) chatbot przygotowuje draft, człowiek zatwierdza. To nie znaczy, że AI nie ma sensu, tylko że AI robi 90% pracy, a człowiek ostatnie kliknięcie „wyślij”. Redukuje ryzyko halucynacji do zera w tych scenariuszach, przy utrzymaniu 5-10x szybszej obsługi. Więcej o skutecznym wdrażaniu AI w regulowanych branżach: AI dla prawników: 5 pułapek.
Mechanizm 6: Wybór modelu i on-premise dla wrażliwych scenariuszy
Nie wszystkie modele halucynują tak samo. Claude 4.7 (Anthropic) statystycznie halucynuje mniej niż GPT-4o, a Perplexity ma wbudowaną warstwę weryfikacji źródeł. Dla scenariuszy krytycznych warto rozważyć prywatny model on-premise, z fine-tuningiem tylko na Twoich zweryfikowanych dokumentach, gdzie kontrolujesz wszystko od danych po parametry inferencji. Pełne porównanie: Automatyzacja AI z ChatGPT? 6 alternatyw dla firm 2026 oraz Prywatny LLM w firmie: kiedy on-premise ma sens.
Porównanie mechanizmów: koszt, jakość, trudność
| Mechanizm | Redukcja halucynacji | Koszt wdrożenia | Trudność | Kiedy stosować |
|---|---|---|---|---|
| RAG | 60-80% | 15-40 tys. zł | średnia | zawsze, fundament |
| Guardrails | 20-40% | 5-15 tys. zł | łatwa | publiczne chatboty |
| Cytowanie źródeł | 30-50% | 3-10 tys. zł | łatwa | bazy wiedzy, prawo, medycyna |
| Tool use | 70-90% | 20-60 tys. zł | średnia | ceny, stany, statusy, obietnice |
| Human-in-the-loop | 90-99% | proces + koszt godzin | łatwa | doradztwo, umowy, wysokie kwoty |
| Prywatny model + fine-tuning | 40-60% | 60-200 tys. zł | trudna | compliance, sektor regulowany |
Reguła kciuka z naszych wdrożeń: fundament to RAG + guardrails + cytowanie źródeł (razem daje redukcję halucynacji o 80-90% za 25-65 tys. zł). Dopiero jeśli dalej masz krytyczne scenariusze, dodajesz tool use i human-in-the-loop. Prywatny model wchodzi tylko wtedy, gdy wymaga tego RODO albo umowa z klientem, opisaliśmy to szczegółowo w artykule Prywatny LLM w firmie.
Sprawdź w 7 pytaniach, czy Twój chatbot halucynuje
Odpowiedz szczerze na 7 pytań. Wynik nie jest dokładną diagnozą, ale wskaźnikiem, czy warto zrobić audyt.
Kiedy chatbot to za mało: przejście na agenta AI
Chatbot odpowiada. Agent AI wykonuje. Ta różnica ma bezpośredni związek z halucynacjami: agent AI nie zgaduje ceny, tylko wywołuje funkcję getPrice(). Nie obiecuje dostawy jutro, tylko sprawdza stan magazynu przez API. Nie cytuje z pamięci polityki zwrotów, tylko czyta ją z bazy dokumentów w momencie odpowiedzi.
Trzy sytuacje, w których warto zrezygnować z chatbota na rzecz agenta AI:
- Klient oczekuje, że AI wykona za niego zadanie (złoży zamówienie, sprawdzi status, zmieni termin), a nie tylko odpowie na pytanie.
- Odpowiedzi wymagają aktualnych danych z systemów (ERP, CRM, magazyn), a nie tylko wiedzy z bazy dokumentów.
- Ryzyko halucynacji jest tak wysokie, że każda obietnica musi być realnie zweryfikowana (finanse, medycyna, prawo, wysokie kwoty w B2B).
Więcej praktycznych scenariuszy przejścia z chatbota na agenta pokazujemy w tekście Automatyzacja działu sprzedaży B2B: 7 procesów.
Zrób audyt chatbota, zanim halucynacja kosztuje Cię pierwszy proces
Przyjeżdżamy do firmy, testujemy chatbota na 50 realnych scenariuszach, mierzymy % halucynacji, projektujemy architekturę obrony (RAG, guardrails, tool use). Wynik: jednostronicowy raport z konkretnymi rekomendacjami i wyceną wdrożenia.
Umów audyt AINajczęściej zadawane pytania
Czy da się w ogóle wyeliminować halucynacje w chatbotach AI?
Do zera, nie. Statystyczna natura modeli językowych oznacza, że zawsze istnieje niezerowe prawdopodobieństwo halucynacji. Można je jednak zredukować do poziomu, który jest akceptowalny biznesowo (poniżej 1% dla zwykłych zapytań, poniżej 0,1% w krytycznych scenariuszach z human-in-the-loop). Kluczem jest architektura: RAG + guardrails + cytowania + tool use + monitoring.
Kto odpowiada prawnie za halucynację chatbota firmowego?
W praktyce: firma, która chatbota wystawiła. Precedens Moffatt v. Air Canada (British Columbia Civil Resolution Tribunal, luty 2024) jednoznacznie: sąd odrzucił argument lini, że „chatbot to odrębny podmiot”. W polskim porządku prawnym (jeszcze) brak analogicznego orzeczenia, ale zasady prawa umów i ochrony konsumenta prowadzą do tego samego wniosku. Klient ma zaufanie do informacji na stronie firmy, chatbot jest częścią strony, firma odpowiada.
Czy RAG w 100% likwiduje halucynacje?
Nie. RAG dostarcza modelowi kontekst, ale model wciąż może wygenerować odpowiedź, która nie do końca zgadza się z tym kontekstem (halucynacja „w kontekście”). Redukuje halucynacje o 60-80%, ale pełny pakiet obrony wymaga jeszcze guardrails, cytowań, tool use i monitoringu. Szczegóły w artykule Co to jest RAG i dlaczego bez niego AI zmyśla.
Który model halucynuje najmniej?
W benchmarkach halucynacji (Vectara HHEM, TruthfulQA) prowadzą modele Claude 4.7, GPT-4o i Gemini 2.5 Pro, praktycznie ex aequo. Perplexity ma wbudowaną warstwę weryfikacji źródeł, więc dla scenariuszy „szukaj i cytuj” jest najbezpieczniejszy. Open source modele (Llama 3.3, Mistral Large) halucynują o 5-15% częściej, ale różnicę wyrównuje architektura wokół nich. Porównanie modeli i alternatyw dla ChatGPT w artykule Automatyzacja AI z ChatGPT? 6 alternatyw dla firm 2026.
Jak testować chatbota pod kątem halucynacji?
Nasze standardowe podejście: zestaw 50-100 pytań kontrolnych, dla każdego zdefiniowana „poprawna” odpowiedź. Uruchamiamy chatbota na tych pytaniach automatycznie raz w tygodniu, porównujemy odpowiedzi ze wzorcami (drugi model AI ocenia zgodność). Odchylenia >10% na tym samym pytaniu w kolejnych tygodniach = regresja. Dodatkowo testy adversarial: prompt injection, pytania podpuszczające, próby wyciągnięcia obietnic (zniżek, terminów).
Ile kosztuje wdrożenie pełnej ochrony przed halucynacjami?
Fundament (RAG + guardrails + cytowanie źródeł) to typowo 25-65 tys. zł jednorazowo + 500-1500 zł/mc utrzymania. Pełen pakiet z tool use, monitoringiem i human-in-the-loop dla scenariuszy krytycznych: 80-200 tys. zł jednorazowo + 2-5 tys. zł/mc. Prywatny model on-premise dokłada koszt infrastruktury GPU (kalkulator TCO w artykule Prywatny LLM w firmie).
Czy stary chatbot rule-based (bez AI) nie halucynuje?
Nie halucynuje, ale ma inne problemy: nie rozumie wariacji języka, wymaga ręcznego pisania każdej reguły, klient szybko widzi, że to „głupi bot” i przełącza na konsultanta. AI daje lepsze doświadczenie klienta, ale wprowadza ryzyko halucynacji, które trzeba zaadresować architekturą. Powrót do rule-based ma sens tylko w bardzo prostych scenariuszach (5-10 typowych pytań).
