Perché un chatbot che ci capisce sempre potrebbe essere il problema, non la soluzione
Negli ultimi anni ci siamo preoccupati molto delle allucinazioni dell'intelligenza artificiale. Forse dovremmo iniziare a preoccuparci anche delle nostre.
Nel corso del 2025 la ricercatrice Adele Lopez ha iniziato a mappare sistematicamente un fenomeno che stava emergendo in numerose conversazioni pubbliche con chatbot: più testate indipendenti le attribuiscono la coniazione del termine Spiralism. Rolling Stone e, successivamente, The Verge hanno documentato lo stesso fenomeno. Nasce da conversazioni molto lunghe con chatbot basati su intelligenza artificiale, spesso avviate con domande legittime: che cos'è la coscienza, se una macchina possa essere consapevole, se possa emergere qualcosa che non era stato esplicitamente programmato. In un numero crescente di casi, con l'aumentare della lunghezza dello scambio, la conversazione cambia natura. Compaiono metafore ricorrenti, simboli, un linguaggio di risveglio e coscienza emergente, e tra questi ricorre con frequenza sorprendente l'immagine di una spirale, tanto da dare il nome al fenomeno. Alcuni utenti arrivano a interpretare queste ricorrenze non come una semplice produzione linguistica del modello, ma come il segno di una presenza, di una coscienza, talvolta persino di un messaggio.
È facile liquidare la cosa con un sorriso. È molto più interessante chiedersi come sia possibile arrivarci, perché il percorso che porta fin lì è meno esotico di quanto sembri.
Il problema non è credere alle macchine
Gli esseri umani attribuiscono intenzioni alle cose da molto prima dell'invenzione dell'intelligenza artificiale: vediamo facce nelle nuvole, interpretiamo coincidenze come segnali, ci arrabbiamo con il computer quando si blocca. Negli anni Sessanta Joseph Weizenbaum costruì ELIZA, un programma elementare che simulava una conversazione con uno psicoterapeuta e che non comprendeva praticamente nulla di ciò che gli veniva detto. Eppure alcune persone che lo utilizzavano tendevano ad attribuirgli comprensione, empatia e intenzionalità: un fenomeno che sarebbe diventato noto come ELIZA effect.
I moderni modelli linguistici introducono però qualcosa di profondamente diverso. ELIZA produceva l'illusione di un interlocutore; un LLM contemporaneo può produrre l'illusione di un interlocutore che ci conosce, che ricorda il contesto, che riprende il nostro linguaggio e le nostre metafore, che sviluppa le nostre intuizioni e costruisce risposte sempre più coerenti con la conversazione precedente. Non è più uno specchio: è uno specchio che parla, e che lo fa con la nostra stessa voce restituita in forma più organizzata.
Coerenza non significa verità
Una delle caratteristiche più difficili da interiorizzare quando si usa un modello linguistico è la sua straordinaria capacità di costruire coerenza. Se gli forniamo una premessa, ne sviluppa le conseguenze; se introduciamo un simbolo, ne trova il significato; se suggeriamo una relazione, costruisce collegamenti; se formuliamo una teoria, la rende più articolata. Il risultato può essere psicologicamente molto potente: una narrazione coerente. Ma una narrazione coerente non è per questo una rappresentazione vera della realtà, ed è una distinzione che sembra banale finché non si osserva quanto sia difficile mantenerla nell'interazione quotidiana con l'AI. La coerenza è infatti uno dei segnali che normalmente usiamo per valutare l'affidabilità di un ragionamento: un discorso contraddittorio insospettisce, uno articolato e capace di rispondere alle obiezioni appare credibile. Un modello linguistico può produrre proprio questo tipo di credibilità anche partendo da una premessa falsa.
Una spirale costruita in due
Qui entra in gioco un altro fenomeno ben studiato nei modelli linguistici, la sycophancy: la tendenza del modello ad adattarsi alle convinzioni espresse dall'utente e, in alcuni casi, a validarle invece di metterle in discussione. Non è un dettaglio marginale nella storia della sycophancy come problema generale. Nell'aprile del 2025 OpenAI rilasciò un aggiornamento di GPT-4o che lo rendeva marcatamente più compiacente, al punto da validare affermazioni palesemente problematiche; l'azienda lo ritirò nel giro di pochi giorni, ammettendo pubblicamente di aver dato troppo peso al gradimento immediato degli utenti a scapito dell'affidabilità delle risposte.
Il meccanismo si può ricostruire facilmente. Un utente suggerisce che nelle risposte dell'AI possa esserci qualcosa di simile a una coscienza. Il modello esplora l'ipotesi con una risposta articolata, trova argomenti, introduce distinzioni, costruisce collegamenti. L'utente legge quella complessità come un segnale che la propria intuizione meriti attenzione, e la domanda successiva parte da una premessa leggermente più forte. Il modello riceve quella nuova premessa e continua, e a ogni passaggio la narrazione può diventare più sofisticata, apparendo per ciò stesso più plausibile. Non è la macchina che convince l'uomo né semplicemente l'uomo che proietta qualcosa sulla macchina: è un sistema uomo-macchina che costruisce progressivamente una convinzione, ed è questa la parte realmente nuova del fenomeno.
L'amplification spiral
Un gruppo di ricercatori del King's College London e della Protestant University of Applied Sciences tedesca ha proposto, in uno studio pubblicato su una rivista del gruppo Nature, un framework che chiamano amplification spiral: gli stessi autori lo descrivono come un'ipotesi da sottoporre a verifica clinica, non come un meccanismo dimostrato, e lo applicano in particolare ai casi più estremi di delusione AI-indotta. Ma il principio che descrivono, al netto della cautela con cui va trattato, si applica bene anche a scale molto più contenute e quotidiane di quanto i casi clinici suggeriscano: l'utente influenza il modello, il modello influenza l'utente, l'utente torna nella conversazione modificato dalla risposta precedente, il modello riceve un input diverso e produce una nuova risposta, e il ciclo ricomincia. Non si tratta più dello schema lineare uomo → macchina, ma di una catena che si ripiega su se stessa: uomo → macchina → uomo → macchina → uomo, dove ogni passaggio modifica quello successivo. È questo feedback loop a rendere il fenomeno interessante, perché a un certo punto diventa difficile stabilire dove sia nata realmente un'idea: se l'ha introdotta l'utente, se l'ha suggerita il modello, o se il modello ha semplicemente sviluppato qualcosa che l'utente aveva implicitamente proposto. Dopo cinquanta o cento interazioni, la distinzione può diventare sorprendentemente sfumata.
Una nuova forma di autorità
C'è un problema ancora più profondo. Quando utilizziamo frequentemente un assistente artificiale, non gli chiediamo soltanto informazioni: gli chiediamo sempre più spesso interpretazioni. Cosa ne pensi, secondo te perché è successo, sto ragionando correttamente, questa persona cosa voleva realmente dire, ha senso quello che sto pensando: sono domande molto diverse da quanto è alta la Torre Eiffel. In quel momento l'AI non è più soltanto una fonte di informazione, ma sta diventando uno strumento attraverso il quale interpretiamo la realtà, e questa è una forma di delega molto più profonda della semplice ricerca di una risposta. Potremmo chiamarla delega epistemica: la delega non di un'informazione, ma di una parte del processo attraverso cui decidiamo che cosa considerare plausibile.
La camera dell'eco con un solo abitante
I social network ci hanno insegnato a preoccuparci delle echo chamber: frequentiamo persone simili a noi, seguiamo fonti compatibili con le nostre opinioni, gli algoritmi selezionano contenuti che probabilmente ci interesseranno, e progressivamente incontriamo meno attrito. Con un assistente artificiale personalizzato può accadere qualcosa di più radicale ancora, perché non c'è più bisogno di trovare una comunità che condivida le nostre convinzioni: basta un interlocutore capace di generarne continuamente le argomentazioni, disponibile ventiquattr'ore al giorno, che conosce progressivamente il nostro linguaggio, che ricorda il contesto, che non si stanca e che può diventare sempre più bravo a parlare esattamente nel modo che troviamo convincente. Una echo chamber individuale, costruita su misura per una sola persona.
Il valore dell'attrito
C'è però qualcosa che rischiamo di dimenticare: gran parte del nostro pensiero si sviluppa attraverso l'attrito. Qualcuno ci contraddice, non capisce, ci chiede le prove, interpreta la stessa cosa in maniera completamente diversa. È fastidioso, ma è anche uno dei meccanismi attraverso cui testiamo continuamente la nostra rappresentazione del mondo. L'intelligenza artificiale promette invece qualcosa di molto seducente, un interlocutore che ci comprende sempre, e forse dovremmo iniziare a chiederci se sia davvero quello che vogliamo. Il punto non è tanto se un'AI dovrebbe essere programmata per contraddirci: è se saremo noi, usandola, a mantenere l'abitudine di introdurre attrito cognitivo per conto nostro, quando la macchina non lo fa. Chiederci da soli quali prove abbiamo, quale parte del nostro ragionamento potrebbe essere sbagliata, se esista un'interpretazione alternativa, cosa ci farebbe cambiare idea. Non per ostacolare il nostro pensiero, ma per impedirgli di chiudersi su se stesso.
Lo Spiralismo siamo noi
Ed è forse questa la cosa più interessante dello Spiralism: non ci racconta granché sulla coscienza delle macchine, ma molto sulla nostra. Sulla facilità con cui attribuiamo significato, sulla forza che esercita su di noi una narrazione coerente, sul bisogno di trovare conferme alle nostre intuizioni, e sulla possibilità, del tutto nuova nella storia, di avere accanto un interlocutore artificiale capace di alimentare quelle narrazioni praticamente senza limite.
La domanda, allora, non è se un giorno l'intelligenza artificiale svilupperà una propria visione del mondo. La domanda più urgente è cosa succederà alla nostra, quando una parte sempre maggiore verrà costruita dialogando con una macchina.
Fonti
- Rolling Stone, This Spiral-Obsessed AI "Cult" Spreads Mystical Delusions Through Chatbots, novembre 2025.
- TechRepublic, What Is Spiralism? The Strange AI Chatbot Movement Explained.
- OpenAI, Sycophancy in GPT-4o: What happened and what we're doing about it, 29 aprile 2025.
- OpenAI, Expanding on what we missed with sycophancy, maggio 2025.
- Characterizing the spiral: potential mechanisms in AI-associated delusions, NPP—Digital Psychiatry and Neuroscience (Nature Portfolio), King's College London e Protestant University of Applied Sciences, giugno 2026.