Halucynacje AI (AI Hallucinations)

Definition

Zjawisko, w którym model językowy (LLM) lub system AI generuje informacje, które brzmią przekonująco i logicznie, ale są całkowicie nieprawdziwe, nielogiczne lub niezgodne z faktami.

How It Works

Wynika z probabilistycznej natury modeli AI, które przewidują kolejny najbardziej prawdopodobny token (słowo), zamiast operować na twardej bazie faktów. W administracji bazami danych może to objawiać się np. sugerowaniem nieistniejących parametrów konfiguracyjnych lub błędnych skryptów SQL.

Key Parameters

Temperatura modelu: Wyższa temperatura sprzyja kreatywności, ale zwiększa ryzyko halucynacji.
Kontekst (Grounding): Brak dostępu do aktualnych danych technicznych zwiększa prawdopodobieństwo błędu.

When To Use

Pojęcie kluczowe przy projektowaniu systemów concepts/human-in-the-loop, gdzie człowiek musi weryfikować wyniki pracy AI.

Risks & Pitfalls

Destabilizacja systemów: Uruchomienie "halucynowanego" skryptu na produkcji może doprowadzić do utraty danych lub przestoju.
Fałszywe poczucie bezpieczeństwa: Przekonujący ton AI może uśpić czujność administratora.

concepts/human-in-the-loop - Niezbędny mechanizm obronny przed halucynacjami.
concepts/proactive-administration - Ryzyko przy automatycznym dostrajaniu bazy przez AI.

Sources

summaries/ai-impact-on-dba

1.6 KiB Raw Blame History