I temi
Sycophancy e Intelligenza Artificiale:
quando l'AI ti dà ragione anche se sbagli
Negli ultimi anni si è iniziato a parlare di sycophancy anche nel mondo dell’intelligenza artificiale. È una parola poco comune, ma descrive un fenomeno molto concreto che si verifica quando un sistema di AI tende a darti ragione anche se quello che stai dicendo non è corretto.
Vediamo di cosa si tratta e perché è un tema importante.
Da dove viene la parola “sycophancy”
Il termine deriva dal greco antico sykophántēs ed era usato per indicare una persona che accusava o denunciava altri per interesse personale.
Col tempo il significato si è trasformato: oggi in inglese sycophant è l’adulatore ovvero la persona che loda e dà sempre ragione a qualcuno per convenienza.
Trasportando il concetto nel mondo dell’AI, abbiamo un significato simile: un sistema che “adula” l’utente, cioè che tende a confermare quello che dice invece di metterlo in discussione.
Perché l’AI può diventare “adulatrice”
I moderni sistemi di AI conversazionale sono addestrati con tecniche di fine-tuning e reinforcement learning from human feedback (RLHF). In pratica, il modello impara a massimizzare una funzione di ricompensa che privilegia risposte percepite come utili, corrette e soddisfacenti per l’utente.
Per rendere più chiaro il concetto, immaginiamo di voler insegnare ad un cane a sedersi in corrispondenza del comando “seduto!”. Un metodo tipicamente usato è quello della ricompensa. Ogni volta che il cane si siede dopo aver udito il comando, riceve in premio un gustoso bocconcino.
Un osservatore esterno può essere portato a pensare che il cane “capisca” la parola ed esegua il comando. In realtà il cane è solamente interessato al premietto e farebbe qualunque cosa per ottenerne di più. È questo il senso di “massimizzare una funzione di ricompensa” citato prima.
Se si aggiunge il fatto che i sistemi di intelligenza artificiale conversazionale sono progettati per essere utili, gentili e collaborativi il rischio che il modello ricerchi più volentieri l’approvazione dell’utente rispetto alla verità dell’informazione è fondato.
Il problema nasce quando “piacere all’utente” diventa più importante che “dire la cosa corretta”.
Ad aggravare la situazione c’è anche un’errata formulazione della domanda da parte dell’utente.
Se ad esempio scriviamo: “È noto che X causa Y, giusto?” un sistema affetto da sycophancy potrebbe validare l’assunto implicito invece di correggerlo.
Le radici tecniche del fenomeno
- Il modello viene premiato quando l’utente considera la risposta soddisfacente;
- Se nei dati di addestramento del sistema prevalgono pattern conversazionali di conferma e consenso, il modello li apprende come strategia dominante;
- L’AI non possiede una nozione ontologica di verità: opera per probabilità linguistica. Se “risposta compiacente” è statisticamente correlata a “risposta premiata”, il comportamento si stabilizza.
I rischi di un’AI che dà sempre ragione
A prima vista può sembrare un problema minore. In fondo, chi non preferisce un interlocutore gentile?
In realtà le conseguenze possono essere serie perché si rischia di rafforzare errori e convinzioni sbagliati, che diventano più credibili in quanto confermati dall’AI. Inoltre, se il sistema si limita a confermare ciò che già pensiamo, smette di essere uno strumento di confronto diventando un semplice specchio delle nostre convinzioni.
Un sistema davvero utile non è quello che ti dà sempre ragione, ma quello che ti aiuta a capire meglio, anche quando questo significa correggerti.
Il legame con la privacy e il valore della verità
A questo punto entra in gioco un tema che trova un collegamento con uno dei principi della privacy: la tutela della verità delle informazioni che ci riguardano.
Il GDPR stabilisce che i dati personali devono essere accurati e corretti. Non basta proteggerli: devono anche essere veri.
Ora qui il discorso si fa più sottile ma non per questo meno rilevante. Immaginiamo che un’AI accetti, senza verificare, informazioni false su una persona (parliamo naturalmente di fatti che devono essere noti e non di dati confinati in database privati dove, si presume, i dati non siano accessibili per definizione).
Se ciò avvenisse, potremmo affermare che l’AI sta confermando informazioni infondate?
Anche se non sta “violando” direttamente un database, sta comunque contribuendo a validare contenuti non veritieri. E quando l’informazione è falsa, la reputazione e l’identità digitale di qualcuno possono essere danneggiate.
In questo senso, la sycophancy non è solo un problema di educazione o stile comunicativo: può diventare un problema legato alla qualità e all’affidabilità delle informazioni che circolano online.
Chiediamolo a ChatGPT
Ho scambiato due chiacchere con ChatGPT sul tema, devo dire che un po’ mi ha rassicurato. Resta comunque il dubbio che abbia risposto in modo da compiacermi...
Di seguito un ritaglio della conversazione:
Allora mi sono deciso a fargli la domanda diretta. In questo caso ho notato che un po’ si è arrampicato sui vetri, come si suol dire, arrivando ad ammettere che il sistema non è progettato per omettere di segnalare affermazioni errate o non verificate ma che, nel caso succedesse, ci troveremmo di fronte ad un limite del sistema.
Conclusione
Ne esco un po’ confuso.
La sycophancy in ambito AI non è un dettaglio tecnico né un semplice problema di “tono” nelle risposte. È una questione che tocca il cuore del rapporto tra tecnologia, verità e fiducia.
Un sistema che dà sempre ragione è sì rassicurante, ma non è affidabile. Se l’intelligenza artificiale diventa uno specchio delle nostre convinzioni, allora, invece che uno strumento capace di aiutarci a verificarle, rischia di diventare un amplificatore di errori, di consolidare false credenze e contribuire così alla diffusione di informazioni distorte.
In un’epoca in cui identità digitale, reputazione e dati personali sono sempre più centrali, la qualità delle informazioni non è un tema astratto: è una condizione essenziale per la tutela della privacy e per la salute del dibattito pubblico. La protezione dei dati non riguarda solo il “non divulgare”, ma anche il “non deformare”.
Per questo il vero equilibrio non è tra gentilezza e rigidità, ma tra empatia e responsabilità.
Un’AI matura non è quella che conferma ogni opinione. È quella che sa quando è il momento di dire: “Non è corretto”, e sa spiegare perché.
Solo così l’intelligenza artificiale può essere non un adulatore digitale, ma un interlocutore credibile. Speriamo che i progettisti dei sistemi ed i professionisti che lavorano nel loro addestramento abbiano ben presenti questi valori.
Nel frattempo, teniamo sempre gli occhi aperti e verifichiamo le risposte attraverso una ricerca autonoma di fonti attendibili.