Un'allucinazione è una risposta plausibile ma falsa. Non è un bug occasionale: è una conseguenza diretta di come funzionano gli LLM. Non si elimina, si contiene — e si contiene con architettura, non con buoni propositi.
Perché succede
Il modello ottimizza la plausibilità linguistica, non la verità. Quando non “sa” qualcosa, non resta in silenzio: genera comunque la continuazione più probabile, che può essere inventata ma scritta con sicurezza.
Le cause più comuni sono conoscenza mancante o datata, contesto ambiguo, domande fuori dominio e pressione a rispondere sempre.
- Conoscenza non presente nei dati di training
- Informazioni cambiate dopo il cutoff del modello
- Prompt ambiguo o contraddittorio
- Mancanza di una fonte autorevole nel contesto
Contromisure tecniche
Le allucinazioni si riducono dando al modello fonti verificabili e limitando ciò che può affermare senza supporto.
- RAG: recupera documenti reali e chiedi risposte ancorate alle fonti
- Citazioni obbligatorie: il modello deve indicare da dove arriva l'informazione
- “Non lo so” permesso: istruisci il modello a dichiarare l'incertezza
- Validazione output: schema, regole, controlli su numeri e nomi
Guardrail e verifica
Per task critici non ci si fida del singolo output. Si aggiungono controlli a valle: validazione di formato (JSON schema), confronto con regole di business, secondo passaggio di verifica e, dove serve, supervisione umana prima di azioni irreversibili.
1. retrieval dei documenti pertinenti2. prompt: "rispondi SOLO con le informazioni nei documenti; se manca, dillo"3. validazione: ogni affermazione ha una citazione?4. fallback: se confidenza bassa → escalation umana
In sintesi
- Le allucinazioni sono strutturali: il modello massimizza la plausibilità, non la verità.
- RAG con citazioni obbligatorie è la difesa più efficace per la conoscenza aziendale.
- Permetti esplicitamente “non lo so”: riduce le invenzioni.
- Per azioni critiche: validazione automatica + human in the loop.
FAQ tecniche
Si possono eliminare del tutto le allucinazioni?
No. Si possono ridurre drasticamente con retrieval, citazioni, guardrail e verifica, fino a livelli accettabili per il caso d'uso. L'obiettivo è gestire il rischio, non promettere zero errori.
RAG elimina le allucinazioni?
Le riduce molto, ma il modello può ancora interpretare male le fonti o rispondere oltre ciò che è scritto. Per questo servono citazioni verificabili e controlli sull'output.
Come misuro quanto allucina un sistema?
Con un set di valutazione: domande con risposta attesa, controllo delle citazioni e revisione umana su un campione. Misurare il tasso di errore nel tempo permette di intervenire prima che degradi in produzione.