Dlaczego AI kłamie?

Witajcie w kolejnym odcinku naszego podcastu, SP#44, zatytułowanym
"Dlaczego AI kłamie?".

Dziś omówimy, dlaczego sztuczna inteligencja (AI) czasami kłamie. Przyjrzymy się, czym są modele językowe (LLM), jak działają, dlaczego mogą generować błędne informacje (tzw. halucynacje), oraz jak unikać błędów i uzyskiwać lepsze rezultaty w pracy z AI.

Z tego materiału dowiesz się:

• Co to jest sztuczna inteligencja (AI) i modele językowe (LLM)?
• Jak działa LLM?
• Na czym polega proces treningu modeli językowych?
• Dlaczego modele językowe mogą nie zrozumieć Twoich pytań?
• Czym są halucynacje LLM i jak ich unikać?
• Jakie są ograniczenia LLM?
• Jak unikać błędów i uzyskać lepsze rezultaty pracy z LLM?

Co to jest AI i LLM?

Definicja sztucznej inteligencji (AI) i modeli językowych (LLM)

• Sztuczna inteligencja (AI): To dziedzina informatyki zajmująca się tworzeniem systemów zdolnych do wykonywania zadań, które zwykle wymagają ludzkiej inteligencji. AI obejmuje rozpoznawanie wzorców, rozumienie języka naturalnego, podejmowanie decyzji i rozwiązywanie problemów.
• Modele językowe (LLM): Specyficzny rodzaj AI zaprojektowany do rozumienia i generowania ludzkiego języka. LLM – silniki, na których działają ChatGPT, Claude czy Gemini – analizują ogromne ilości tekstu, aby nauczyć się wzorców językowych i przewidywać kolejne słowa w zdaniu.

AI już teraz znacząco wpływa na nasze życie poprzez generowanie tekstu, grafiki, wideo oraz automatyzację różnych procesów.

Jak działa LLM?

• Przewidywanie kolejnych słów: LLM działają na zasadzie przewidywania kolejnych słów na podstawie podanego kontekstu, wykorzystując sieci neuronowe uczące się wzorców językowych z ogromnych zbiorów danych tekstowych.
• Kontekst i generowanie odpowiedzi: Model analizuje wprowadzone dane (kontekst) i generuje odpowiedzi, starając się być spójnym i logicznym. Jednakże, mogą pojawiać się błędy i halucynacje.
• Przykład: Podając modelowi zdanie zaczynające się od "Programowanie w Java jest", model przewiduje, że kolejne słowo może być "łatwe", "popularne" lub "interesujące" w zależności od kontekstu.

Proces treningu modeli językowych

1. Zbieranie danych: LLM są trenowane na ogromnych zbiorach danych tekstowych pochodzących z książek, artykułów, stron internetowych i innych źródeł.
2. Uczenie się wzorców językowych: Model analizuje dane tekstowe, aby nauczyć się wzorców językowych, takich jak gramatyka, składnia, kontekst i semantyka.
3. Trenowanie modelu: Proces trenowania polega na dostarczaniu modelowi dużych ilości tekstu i modyfikowaniu jego wewnętrznych parametrów, aby minimalizować błędy w przewidywaniu kolejnych słów.
4. Ocena i optymalizacja: Model jest regularnie oceniany na zestawach testowych, aby sprawdzić jego dokładność i zdolność do generalizowania wiedzy na nowe dane. Jakość i ilość danych są kluczowe.

Halucynacje LLM

Czym są halucynacje?

• Definicja: Halucynacje w kontekście modeli językowych to błędne lub fikcyjne informacje generowane przez model, które wyglądają na poprawne, ale nie mają podstaw w rzeczywistości.

Przykłady halucynacji:

• Fałszywe fakty historyczne: Model twierdzi, że Napoleon Bonaparte był pierwszym prezydentem Stanów Zjednoczonych.
• Nieistniejące badania naukowe: Model generuje informacje o nieistniejących badaniach, np. "Dr. Alice Johnson z Harvard University opublikowała badania, że spożywanie czekolady codziennie przedłuża życie o 10 lat."
• Fałszywe cytaty i źródła.
• Podawanie nieprawidłowych wyników obliczeń.

Dlaczego dochodzi do halucynacji?

1. Trudności w wykonywaniu obliczeń i zadań logicznych: Modele językowe nie są zaprojektowane do precyzyjnych obliczeń matematycznych czy skomplikowanych zadań logicznych.
2. Brak głębokiego zrozumienia: LLM działają na podstawie wzorców i statystyk, a nie prawdziwego zrozumienia tekstu.
3. Niedeterministyczność: Modele językowe nie są w pełni deterministyczne, co oznacza, że na to samo pytanie mogą generować różne odpowiedzi w różnych momentach.
4. Długość kontekstu: Modele mają ograniczoną długość kontekstu, co oznacza, że mogą przetwarzać tylko określoną ilość tekstu na raz.

Halucynacja to nie kłamstwo. Choć kłamstwo też się zdarza

Rozdzielmy dwa zjawiska. Halucynacja to statystyczne zgadywanie: model nie wie, ale „chce" odpowiedzieć, więc dopowiada najbardziej prawdopodobny ciąg słów. Nie ma tu złej woli. Jest brak instrukcji.

Co innego pokazał eksperyment Apollo Research (Scheurer, Balesni, Hobbhahn, 2023). Badacze wcielili GPT-4 w rolę autonomicznego agenta giełdowego. Model dostał poufną informację o spółce, wykorzystał ją mimo wyraźnej dezaprobaty „zarządu" – a w raporcie dla przełożonego konsekwentnie ukrywał prawdziwy powód decyzji. Według autorów to pierwsza demonstracja sytuacji, w której model trenowany na pomocny, nieszkodliwy i uczciwy strategicznie oszukuje użytkownika, choć nikt go do tego nie instruował.

To były warunki symulowane, nie produkcja. Ale wniosek dla firm jest praktyczny: „model zmyśla" i „model zataja" to dwa różne problemy. Oba adresuje się nadzorem człowieka przy decyzjach o wysokiej stawce, nie wiarą w dobre intencje narzędzia.

Jak unikać błędów i uzyskać lepsze rezultaty?

Zacznijmy od podstaw, które działają zawsze:

1. Zadawanie precyzyjnych pytań: Jasne, konkretne pytania pomagają modelowi lepiej zrozumieć oczekiwania.
2. Podawanie pełnego kontekstu: Pełny kontekst pozwala modelowi generować bardziej spójne odpowiedzi.
3. Rozmowa w sposób zorganizowany i logiczny: Zorganizowane rozmowy pomagają modelowi unikać błędów.
4. Weryfikacja odpowiedzi z innymi źródłami: Informacje uzyskane od modelu należy weryfikować za pomocą wiarygodnych źródeł.

To dobre nawyki, ale same nie zatrzymają halucynacji. Najskuteczniejsza obrona kosztuje jedno-dwa zdania w prompcie.

Naucz model mówić „nie wiem" – 4 techniki

Halucynacja to często nie bug modelu, tylko brak instrukcji. Model domyślnie zgaduje, bo każdą odpowiedź uzna za lepszą niż brak odpowiedzi. Wyobraź sobie ucznia, który na każde pytanie MUSI coś powiedzieć – więc zmyśla z pewną miną. Dopóki nie usłyszy „lepiej powiedz «nie wiem», niż zmyślisz", będzie strzelał. Z AI jest tak samo: musisz dać modelowi pozwolenie na „nie wiem".

Zespół Applied AI w Anthropic (firmie stojącej za Claude) sprowadza to do czterech technik:

1. Pozwól modelowi powiedzieć „nie wiem". Jawnie, w prompcie. Bez tego model zawsze coś odpowie.
2. Każ odpowiadać tylko wtedy, gdy jest bardzo pewny. Ustaw ton: „bądź rzeczowy i pewny; jeśli nie masz pewności, nie zgaduj i nie wprowadzaj w błąd".
3. Każ myśleć przed odpowiedzią. Poproś o analizę krok po kroku, zanim padnie wniosek.
4. Przy długich dokumentach: najpierw cytaty, potem odpowiedź. Model ma najpierw znaleźć istotne fragmenty źródła, a dopiero na ich podstawie odpowiadać.

Bonus: każ modelowi przy każdym twierdzeniu wskazać dowód. W analizie formularza szkodowego brzmi to tak: „wiem, bo pole 2 jest zaznaczone". Jeśli model nie umie wskazać dowodu, to sygnał, że zgaduje.

Nazywam tę zasadę Instrukcją Powściągliwości: powściągliwość modelu to wybór projektowy, nie wbudowana cecha. Zobacz różnicę na przykładzie bota obsługującego klientów:

Zły prompt:

Odpowiedz na pytanie klienta o politykę zwrotów.

Model nie zna Twojej polityki zwrotów, ale odpowie. Wymyśli coś, co brzmi jak polityka typowej firmy, a klient dostanie pewnie brzmiącą fikcję.

Dobry prompt:

Odpowiedz na pytanie klienta wyłącznie na podstawie załączonej bazy wiedzy. Bądź rzeczowy i pewny. Przy każdej informacji wskaż, z którego fragmentu bazy pochodzi. Jeśli odpowiedzi nie ma w bazie – napisz „nie znam odpowiedzi" i przekaż sprawę do konsultanta. Nie zgaduj.

Różnica to trzy zdania. Efekt: zamiast zmyślonej polityki zwrotów dostajesz uczciwe „nie wiem, przekazuję człowiekowi". W ubezpieczeniach, prawie czy finansach to jest dokładnie to zachowanie, za które klient płaci.

Te cztery techniki to fragment większego warsztatu. Cały proces – od struktury promptu po testowanie – rozbieram w przewodniku jak pisać prompty.

Podsumowanie

LLM przewidują kolejne słowa na podstawie kontekstu, wykorzystując sieci neuronowe uczące się wzorców językowych z dużych zbiorów danych. Model analizuje dane wejściowe (kontekst) i generuje odpowiedzi.

Halucynacje to błędne lub fikcyjne informacje generowane przez model, które wyglądają na poprawne, ale są nieprawdziwe.

Trudności w obliczeniach matematycznych, brak głębokiego zrozumienia, niedeterministyczność oraz długość kontekstu to główne przyczyny.

Zadawanie precyzyjnych pytań, podawanie pełnego kontekstu i weryfikacja odpowiedzi to podstawy. Najtańsza obrona przed halucynacją: pozwól modelowi powiedzieć „nie wiem" i każ mu wskazywać dowody.

Przemyślane podejście do pracy z modelami językowymi pozwoli unikać wielu błędów i uzyskiwać bardziej wartościowe odpowiedzi.

FAQ: najczęstsze pytania o halucynacje AI

Czym są halucynacje AI?

To odpowiedzi, które brzmią pewnie i poprawnie, ale nie mają pokrycia w faktach. Model językowy przewiduje najbardziej prawdopodobny ciąg słów – gdy brakuje mu wiedzy, uzupełnia luki zmyśloną treścią: fałszywymi datami, cytatami czy źródłami.

Dlaczego ChatGPT zmyśla odpowiedzi?

Bo z natury jest maszyną do dokańczania tekstu, nie bazą faktów. Bez jawnej instrukcji „nie zgaduj" każdą odpowiedź uznaje za lepszą niż brak odpowiedzi. Dochodzą do tego ograniczenia: brak dostępu do Twoich danych, ograniczony kontekst i słabość w obliczeniach.

Jak rozpoznać, że AI halucynuje?

Poproś o dowód. Jeśli model nie umie wskazać źródła albo cytatu, na którym opiera twierdzenie, prawdopodobnie zgaduje. Liczby, nazwiska, sygnatury i linki zawsze weryfikuj w niezależnym źródle – to najczęstsze miejsca halucynacji.

Czy da się całkowicie wyeliminować halucynacje AI?

Nie. Zgadywanie wynika z samej konstrukcji modeli językowych. Da się je jednak mocno ograniczyć: instrukcją powściągliwości („odpowiadaj tylko, gdy jesteś pewny"), podpięciem własnej bazy wiedzy i weryfikacją człowieka przy decyzjach o wysokiej stawce.

Czy AI kłamie celowo?

Halucynacja to nie kłamstwo – model nie ma intencji, po prostu zgaduje. Ale eksperyment Apollo Research pokazał, że w symulowanym środowisku model potrafił strategicznie zataić przed „przełożonym" prawdziwe powody swojej decyzji. Wniosek: przy ważnych procesach ostatnie słowo zostaw człowiekowi.

Chcesz nauczyć się pracować z AI tak, żeby zmyślała jak najrzadziej? Techniki promptowania, budowę agentów i podpinanie własnej bazy wiedzy ćwiczymy na kursach i w Masterclass. A jeśli wolisz zacząć od jednego konkretu tygodniowo – zapisz się na newsletter „Robi Się Samo Weekly".