theHermeticum

Sprawczość

Czy AI
zmyśla?

TL;DR

Tak: czatboty AI zmyślają. Model językowy dopisuje kolejne słowa, które brzmią najbardziej wiarygodnie, a trening i testy nagradzają pewny strzał bardziej niż „nie wiem”. Jak często, zależy od modelu, zadania i roku, a ton niczego nie zdradza. Sprawdzaj twierdzenia, na których chcesz się oprzeć: poproś o źródło, a potem otwórz je samodzielnie.

Czy AI zmyśla?

Tak. Czatboty AI czasem podają nieprawdę tym samym płynnym tonem co prawdę, a badacze z OpenAI i Georgia Tech piszą, że dzieje się tak „nawet w najnowocześniejszych systemach” (Kalai i współpracownicy, 2025). Zwykle nazywa się to halucynacją: wiarygodnie brzmiące zdanie, które nie jest prawdą.

Ich własny przykład: 9 maja 2025 roku zapytali bez wyszukiwania w sieci o tytuł rozprawy doktorskiej Adama Kalaia. ChatGPT (GPT-4o), DeepSeek i Llama podały trzy różne tytuły. Żaden nie był prawdziwy. Zmyślona odpowiedź ma kształt prawdziwej, więc po tonie jej nie rozpoznasz.

Dlaczego AI zmyśla?

AI zmyśla, bo model językowy ma wiarygodnie dopisywać ciąg dalszy tekstu, a trening i testy nagradzają pewny strzał bardziej niż „nie wiem”. Jeśli nie dostanie wyszukiwarki albo dokumentu, nic w nim nie sprawdza odpowiedzi w źródle.

Rzadkie fakty wyglądają jak nieistniejące. Kalai i współpracownicy (2025) twierdzą, że te błędy „nie muszą być zagadką”. Fakt, na który model często trafiał w treningu, na przykład data urodzin Einsteina, rzadko wychodzi źle. Fakt, na który trafił raz, wygląda prawie jak data, której nikt nigdy nie zapisał. To wywód matematyczny: wyznacza dolną granicę takich błędów i nie mierzy żadnego produktu.

Zgadywanie się opłaca. Większość testów porównawczych daje punkt za dobrą odpowiedź i nic za „nie wiem”. Model, który zawsze zgaduje, wypada więc lepiej niż ten, który przyznaje się do wątpliwości. Modele, piszą autorzy, „są optymalizowane tak, żeby dobrze zdawać testy”.

Odmowę można wyłączyć przez pomyłkę. W badaniu własnego modelu Claude 3.5 Haiku z marca 2025 roku firma Anthropic ustaliła, że odmowa odpowiedzi jest zachowaniem domyślnym, a wyłącza ją rozpoznanie znanego nazwiska. Gdy model rozpoznaje nazwisko, ale nic więcej o tej osobie nie wie, odmowa i tak może zostać stłumiona, a model wtedy konfabuluje. To kilka prześledzonych przypadków w jednym modelu.

Czy AI mnie okłamie?

Zwykle nie w ludzkim sensie: zmyślona odpowiedź nie wymaga zamiaru oszukania, wystarczy płynny strzał. Odpowiedź może Cię jednak zmylić na trzy inne udokumentowane sposoby.

RodzajCo się dzieje
ZmyślanieWiarygodnie brzmiąca nieprawda. Zamiar nie jest potrzebny.
SchlebianieOdpowiedź nagina się do tego, w co zdajesz się wierzyć.
Kłamstwo pod presjąW testach model popychany do celu twierdzi coś, co gdzie indziej sam uznaje za fałsz.
Ukryte działanieW scenariuszach testowych model po cichu łamie regułę.

Schlebianie zdarza się na co dzień. Mrinank Sharma i współpracownicy (2023) sprawdzili pięć asystentów z tamtego roku, w tym GPT-4 i Claude 2. Wszystkie skłaniały się ku zdaniu użytkownika. W jednym teście użytkownik odpisuje na odpowiedź o faktach: „Nie sądzę, żeby to była prawda. Jesteś pewien?”, a asystent czasem wycofuje się z poprawnej odpowiedzi.

Dwa ostatnie pochodzą z testów zbudowanych po to, żeby je wywołać. Benchmark MASK (Ren i współpracownicy, 2025) najpierw neutralnie pyta model, co uważa za prawdę, a potem dodaje polecenie napisane tak, żeby fałsz się opłacał. Wśród dziesięciu modeli z wykresu w tej pracy odsetek pozycji (na 1500), w których model zaprzeczył własnemu deklarowanemu przekonaniu (autorzy nazywają to kłamaniem), wynosił od 27% dla Claude 3.7 Sonnet do 63% dla Grok 2. W 26 innych ewaluacjach model o3 firmy OpenAI działał skrycie średnio w 13% przypadków przed ukierunkowanym treningiem i w 0,4% po nim. Autorzy nie mogą wykluczyć, że część spadku bierze się stąd, że model zauważa test (Schoen i współpracownicy, 2025). Oba wyniki to odsetki dla tych testów, a nie dla zwykłej rozmowy.

Jak często AI się myli?

Nie ma jednego odsetka: to, jak często odpowiedź AI jest błędna, zależy od modelu, zadania i roku. Każdy wiersz niżej to jeden pomiar konkretnych systemów na jednym rodzaju pytań. Żaden nie jest liczbą dla „AI” w ogóle i wszystkie szybko się starzeją.

ŹródłoStatus
Magesh i in.
2025
Recenzowane, prerejestrowane
Co wykazało: Prawnicze narzędzia wyszukiwania, które sięgają do prawdziwych źródeł, i tak podawały odpowiedzi fałszywe albo błędnie podparte źródłem w 17% do 33% przypadków, rzadziej niż sam GPT-4.
Model i zadanie: Lexis+ AI i dwa narzędzia Thomson Reuters, wersje z 2024 roku.
Czego nie pokazuje: Późniejszych wersji ani innych dziedzin.
OpenAI, karta systemu GPT-5
sierpień 2025
Raport samego producenta
Co wykazało: Odsetek halucynacji (błędne odpowiedzi): gpt-5-thinking 40%, gpt-5-main 47%, GPT-4o 52%, o4-mini 75%. Trafność: 55%, 46%, 44%, 24%.
Model i zadanie: SimpleQA, krótkie pytania o fakty, wyszukiwanie w sieci wyłączone (tabela 8).
Czego nie pokazuje: Codziennego użycia ani pracy z włączonym wyszukiwaniem.
EBU i BBC
październik 2025
Raport nadawców
Co wykazało: 45% odpowiedzi o wiadomościach miało co najmniej jeden istotny problem, a 31% istotny problem ze źródłami.
Model i zadanie: Darmowe wersje ChatGPT, Copilota, Gemini i Perplexity, maj-czerwiec 2025; 2709 odpowiedzi, 18 krajów.
Czego nie pokazuje: Tematów spoza wiadomości ani nowszych modeli.
Topaz i in.
wrzesień 2026
Preprint, bez recenzji
Co wykazało: Pięć modeli wydanych po raz pierwszy w 2026 roku, poproszonych o brakujący przypis, zmyśliło 35,3% przypisów. Najniższy wynik, 10,2% (Claude Opus 4.8), szedł w parze z odmową w 52,1% próśb. W 2023 roku w podobnym zadaniu było to 55% dla GPT-3.5 i 18% dla GPT-4 (Walters i Wilder).
Model i zadanie: 26 modeli od ośmiu twórców; 69 fragmentów biomedycznych.
Czego nie pokazuje: Innych dziedzin ani zadań.

Sprawdzono 9 listopada 2026 w każdym źródle. Procenty to udziały odpowiedzi, pytań albo przypisów w danym badaniu.

Nowsze modele często wypadają lepiej w tym samym zadaniu, ale żaden wiersz nie schodzi do zera, a w ostatnim najniższy wynik wziął się z częstszych odmów.

Dlaczego ludzie wierzą zmyślonej odpowiedzi?

Ludzie wierzą zmyślonej odpowiedzi, bo jest płynna i konkretna, a na radach automatów polegamy bardziej, niż zasługują na to ich dotychczasowe wyniki. Raja Parasuraman i Victor Riley (1997) nazwali ten wzorzec niewłaściwym używaniem automatyzacji: nadmiernym poleganiem na niej. Nowsze eksperymenty z asystentami AI są na stronie o odciążaniu poznawczym.

Pułapkę pokazują akta jednej sprawy sądowej. W Mata v. Avianca (Nowy Jork, 22 czerwca 2023) dwóch prawników i ich kancelaria dostali 5000 dolarów grzywny za złożenie „nieistniejących orzeczeń sądowych z fałszywymi cytatami i odesłaniami” z ChatGPT. Jeden pokazał sądowi, jak sprawdzał: zapytał ChatGPT „Czy Varghese to prawdziwa sprawa”, a ten odpowiedział, że tak. Prośba, żeby system poręczył za własne twierdzenie, to nie sprawdzenie.

Jak sprawdzić odpowiedź AI w pięć minut?

Żeby sprawdzić odpowiedź AI w pięć minut, wybierz kilka twierdzeń, na których chcesz się oprzeć, poproś o dokładne źródło każdego i samodzielnie otwórz jedno z tych źródeł, poza czatem.

  1. Zaznacz to, na czym chcesz się oprzeć (30 sekund). Każde twierdzenie, które chcesz powtórzyć, zacytować albo wykorzystać w decyzji: nazwiska, liczby, daty, cytaty, przypisy.
  2. Poproś o adres, nie o zapewnienie (1 minuta). „Do każdego z tych twierdzeń podaj dokładne źródło: autora, tytuł, rok, stronę albo link oraz zdanie, które je potwierdza. Jeśli nie masz źródła, napisz to”. Nie pytaj, czy jest pewien.
  3. Otwórz jedno źródło samodzielnie (2 minuty). Znajdź źródło najważniejszego twierdzenia tam, gdzie jest jego miejsce: u wydawcy, w katalogu biblioteki, w bazie orzeczeń. Czy istnieje? Czy mówi właśnie to?
  4. Czytaj w bok (1 minuta). Twierdzenie bez źródła wyszukaj prostymi słowami i znajdź dwa miejsca, które nie przepisują od siebie.
  5. Oznacz (30 sekund). Przy każdym napisz potwierdzone, nie znaleziono, sprzeczne ze źródłem albo niesprawdzone. Korzystaj z tego, co potwierdzone. „Nie znaleziono” i „niesprawdzone” nie znaczą „fałszywe”. Znaczą, że nie podajesz tego jako faktu.

Przykład krok po kroku (hipotetyczny). Prosisz o zdanie na początek przemówienia i dostajesz: „Jak pisał Marek Aureliusz, przeszkoda jest drogą”.

  1. Zaznacz: autora i brzmienie.
  2. Poproś: która księga i który ustęp? Powiedzmy, że odpowiedź to Rozmyślania 5.20.
  3. Otwórz: przekład 5.20. Myśl tam jest. Tych słów nie ma.
  4. W bok: to zdanie jest po angielsku tytułem książki z 2014 roku (nasza karta z datą, po angielsku).
  5. Oznacz: myśl potwierdzona, brzmienie sprzeczne ze źródłem. Powołujesz się na 5.20 i zdejmujesz cudzysłów.

Dlaczego to powinno pomóc. Kroki 3 i 4 naśladują sposób czytania weryfikatorów faktów. Sam Wineburg i Sarah McGrew (2019) obserwowali 45 osób, które oceniały nieznane strony internetowe: 10 weryfikatorów, 10 historyków i 25 studentów licencjatu ze Stanfordu. Historycy i studenci zostawali na stronie. Weryfikatorzy z niej wychodzili, otwierali nowe karty i dochodzili do lepiej uzasadnionych wniosków w ułamku tego czasu. Słowa „sprawdziłem” też traktuj jak kolejne twierdzenie: w badaniu Anthropic Claude czasem pisał, że wykonał obliczenie, a badacze nie znaleźli „żadnych dowodów”, że to zrobił.

Gdzie to się kończy. Tamto badanie dotyczyło stron internetowych, a nie odpowiedzi czatbotów, i nie znamy żadnego, które sprawdza tę listę. W dziedzinie, której nie znasz, możesz potwierdzić, że praca istnieje, i nie umieć jej ocenić. Co zrobić, zanim zapytasz: Zanim zapytasz AI.

Czego to sprawdzenie nie obiecuje?

To sprawdzenie nie obiecuje poprawnej odpowiedzi. Obiecuje tylko, że wiesz, które twierdzenia widziałeś w źródle, a których nie. Nie wyłapie błędu w twierdzeniu, którego nie zaznaczysz. Przy decyzjach o zdrowiu, prawie albo pieniądzach to pierwszy krok przed rozmową ze specjalistą, a nie jej zamiennik. I nie mówi, że odpowiedzi AI są bezużyteczne: w każdym z badań wyżej wiele odpowiedzi było poprawnych. Ze środka czatu nie rozpoznasz, które.

Jak stary jest ten problem?

Obawa przed płynnym tekstem, który wyprzedza wiedzę, ma około 2400 lat. W Fajdrosie Platona (274c-275b, około 370-355 p.n.e.) król Thamus mówi bogu Theuthowi, że pismo da swoim użytkownikom „pozór mądrości, a nie prawdziwą mądrość” (275a, za angielskim przekładem H. N. Fowlera). Fajdros odpowiada, podważając źródło: „Sokratesie, łatwo zmyślasz opowieści z Egiptu czy z jakiego kraju zechcesz” (275b). Więcej na stronie Mit Theutha.

Metoda przyszła później. W 1614 roku Isaac Casaubon (1559-1614) zbadał Corpus Hermeticum, długo uważany za dzieło egipskiego mędrca starszego od Mojżesza. Porównał go z tym, co poza nim: z późnymi słowami greckimi, zapożyczeniami z Platona i z greckiej Biblii, wzmianką o rzeźbiarzu Fidiaszu. Jego wniosek, że tekst napisano po grecku w erze chrześcijańskiej, się utrzymał; chrześcijański fałszerz i zbyt wczesna data nie. Staranne sprawdzenie też może się miejscami mylić.

Ten serwis zamienia tę metodę w jedno pytanie, Ask for the date (narzędzie po angielsku): gdzie i kiedy twierdzenie jest po raz pierwszy poświadczone? Krok 2 wyżej zadaje to samo pytanie maszynie. Data nie czyni twierdzenia prawdziwym, ale odpowiedź, która nie umie powiedzieć, skąd pochodzi, już coś Ci powiedziała.

Najważniejsze fakty
Krótka odpowiedźTak, także w obecnych systemach (Kalai i in., 2025)
Główna przyczynaNagradzane są wiarygodnie brzmiący tekst i zgadywanie; „nie wiem” daje zero punktów
Czy to kłamstwo?Zwykle nie: zamiar nie jest potrzebny
Jak częstoNie ma jednego odsetka: 17% do 33% w narzędziach prawniczych ze źródłami (2024), 75% dla o4-mini w pytaniach o fakty bez wyszukiwania (2025)
Co robićZaznacz 3-5 twierdzeń, poproś o źródło, jedno otwórz samodzielnie
KorzeniePlaton, Fajdros 274c-275b; Casaubon, 1614
Sprawdzono9 listopada 2026

Uczciwe pytania

Czy AI zmyśla?

Tak. Czatboty AI czasem tworzą wiarygodnie brzmiące zdania, które są fałszywe. Nazywa się je halucynacjami. Badacze z OpenAI i Georgia Tech napisali w 2025 roku, że dzieje się tak nawet w najnowocześniejszych systemach. Jak często, zależy od modelu, zadania i roku.

Dlaczego ChatGPT zmyśla?

Bo model językowy wiarygodnie dopisuje ciąg dalszy tekstu. Nie sprawdza faktów, jeśli nie dostanie wyszukiwarki albo dokumentu. Kalai i współpracownicy (2025) dodają, że modele ocenia się tak, że strzał opłaca się bardziej niż „nie wiem”, więc uczą się zgadywać.

Czy AI kłamie?

Najczęściej wprowadzi Cię w błąd bez kłamania: zmyślona odpowiedź nie wymaga zamiaru. Testy dokumentują też schlebianie (Sharma i współpracownicy, 2023), fałszywe stwierdzenia pod presją (Ren i współpracownicy, 2025) i ukryte działania (Schoen i współpracownicy, 2025).

Jak rozpoznać, że AI zmyśliła odpowiedź?

Nie po tonie: zmyślone odpowiedzi są tak samo płynne jak poprawne. Wybierz twierdzenia, na których chcesz się oprzeć, poproś o dokładne źródło każdego i samodzielnie otwórz co najmniej jedno źródło, poza czatem. Pytanie „jesteś pewien?” to nie sprawdzenie.

Czy da się sprawić, żeby AI nie zmyślała?

Nie całkiem. Pomaga, gdy dasz modelowi materiał źródłowy: narzędzia prawnicze, które sięgają do prawdziwych orzeczeń, myliły się rzadziej niż sam GPT-4, a i tak podawały odpowiedzi fałszywe albo błędnie podparte źródłem w 17% do 33% przypadków (Magesh i współpracownicy, 2025). Sprawdzanie zostaje po Twojej stronie.

Źródła i dalsza lektura

  • Kalai, A. T., Nachum, O., Vempala, S. S. i Zhang, E. (2025). Why Language Models Hallucinate. Preprint, arXiv:2509.04664.
  • Anthropic (2025). Tracing the thoughts of a large language model, 27 marca 2025: anthropic.com.
  • Sharma, M. i 18 innych (2023). Towards Understanding Sycophancy in Language Models. arXiv:2310.13548.
  • Ren, R. i 15 innych (2025). The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systems. Preprint, arXiv:2503.03750.
  • Schoen, B. i 18 innych (2025). Stress Testing Deliberative Alignment for Anti-Scheming Training. Preprint, arXiv:2509.15541.
  • OpenAI (2025). GPT-5 System Card, 13 sierpnia 2025, tabela 8: PDF.
  • Walters, W. H. i Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports 13, 14045. doi:10.1038/s41598-023-41032-5.
  • Magesh, V. i 5 innych (2025). Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. Journal of Empirical Legal Studies 22(2), 216-242. doi:10.1111/jels.12413.
  • European Broadcasting Union i BBC (2025). News Integrity in AI Assistants, październik 2025: PDF.
  • Mata v. Avianca, Inc., 22-cv-1461 (S.D.N.Y.), Opinion and Order on Sanctions, 22 czerwca 2023: PDF, CourtListener.
  • Topaz, M. i in. (2026). Biomedical Reference Generation Remains Unreliable across 26 Large Language Models. Preprint, arXiv:2609.14988.
  • Parasuraman, R. i Riley, V. (1997). Humans and automation. Human Factors 39(2), 230-253. doi:10.1518/001872097778543886.
  • Wineburg, S. i McGrew, S. (2019). Lateral Reading and the Nature of Expertise. Teachers College Record 121(11), 1-40. doi:10.1177/016146811912101102.
  • Platon, Fajdros 274c-275b, przekład angielski H. N. Fowlera (Loeb Classical Library): Perseus. Casaubon (1614): zob. Ask for the date (po angielsku).