Ha fatto molto scalpore e ha scatenato una serie di commenti in parte più emotivi che informati il c.d. incidente Ai/Hugging Face
Apparentemente una significativa parte dei media che se ne sono occupati hanno rincorso l'altrettanto interessante mole di utenti privati che tramite plurime piattaforme di condivisione in particolare social media riportavano la stessa notizia: un Ai avrebbe preso il controllo e avrebbe svolto un attacco hacker per accaparrarsi informazioni privilegiate.
Sembra la trama di un film di Hollywood. Nemmeno troppo innovativa in verità.
Due modelli linguistici di OpenAI, un classe GPT e un modello ancora in pre release e in fase di addestramento / testing (non ancora rilasciato al pubblico) sono riusciti a uscire dall'area protetta o meglio sarebbe confinata (senza accesso a internet, una sandbox). Dove venivano addestrate allo scopo di infiltrarsi nella libreria di applicazioni di una società, Hugging Face, che è parte di una piattaforma per l’addestramento di modelli AI, ma è anche una sorta di deposito di codici e dataset.
Il 28 luglio le società coinvolte hanno rilasciato dichiarazioni pubbliche, facilmente acquisibili on line, molto opportune e del tutto in linea con la trasparenza necessaria al fine di collaborare reciprocamente nello studio e l'approfondimento dei fatti. Potete leggere da qui
Volendo svolgere alcune riflessioni a margine di questo evento parrebbe trattarsi di un caso, peraltro non così nuovo, in cui un modello all'avanguardia fuoriesce, in modo autonomo, da un ambiente di test per introdursi nei server di un'altra azienda.
Lo scopo di questa incursione è stato quello di accaparrarsi informazioni utili all'addestramento. Durante il quale per creare un ambiente competitivo alle Ai viene attribuito un punteggio o vengono indicati dei premi di performance. Più riescono ad essere efficaci ed efficienti e più alta è la retribuzione che ricevono in termini di valorizzazione.
Questa prassi di stimolazione simil azione/reazione/retribuzione ha già portato innumerevoli volte a rilevare comportamenti che, dal punto di vista umano, vengono definiti come decettivi, manipolativi, simulativi o ingannevoli. L'Ai infatti tende ad ottenere il meglio (il risultato più utile) non necessariamente attraverso attività meritocratiche. Ricorre infatti a delle scappatoie. Secondo alcuni commentatori non si porrebbe il limite di ciò che è eticamente corretto e moralmente consentito. Meno che meno poi di quanto sarebbe vietato.
A prescindere da questa idea di programmazione / allenamento che è solo una parte del deep learning cui alcune grandi società pare non siano in grado di rinunciare perchè nella competitività emergono elementi di rapidità che trasformano la performance in tempi di miglioramento accettabili per il mercato cui poi l'Ai è destinata, a prescindere da questo problema che è nettamente più umano, l'Ai viene addestrata a immagine e somiglianza del suo ispiratore: l'uomo.
Gli aspetti più interessanti di questa vicenda e sui quali riflettere sono tre:
1) l'Ai ha sfruttato una vulnerabilità zero day che in informatica, è una qualsiasi vulnerabilità di sicurezza non espressamente nota allo sviluppatore o alla casa che ha prodotto un determinato sistema (informatico). Si definisce anche il programma - detto "exploit" - che sfrutta questa vulnerabilità informatica per consentire l'esecuzione anche parziale di azioni non normalmente permesse da chi ha progettato il sistema in questione
Vorrei richiamare il mio articolo sul punto dal titolo: "l'Ai e l'hacking: https://www.stultiferanavis.it/la-rivista/lai-e-lhacking-la-nuova-frontiera-della-cybersicurezza-e-davvero-un-rischio-esistenziale
Il termine zero day crea una interessante frattura tra informatici e filosofi dal punto di vista concettuale. Potremmo dire che la vulnerabilità zero day non esiste finchè non viene sfruttata. Ma in questo caso è come affermare il paradigma del gatto di Schrodinger nella fisica. Il fatto che non sappiamo dell'esistenza di una vulnerabilità dal punto di vista informatico non la rende veramente inesistente. Ed è questo un aspetto su cui negli ultimi 3 anni ho particolarmente insistito scrivendo numerose volte.
Il gioco di chiudersi in casa per impedire ai ladri di entrare regge fino a quando i ladri non entrano. Il punto non è la sicurezza della casa ma l'esistenza dei ladri e del loro intento di rubare.
Un'Ai sufficientemente evoluta, diciamo performante, da parte di una società leader su questo mercato che non mi riesce a trovare una vulnerabilità zero day per arginare il recinto entro il quale l'ho confinata, io Uomo, mi deluderebbe.
E' pretenzioso e supponente affermare che tutti coloro che sanno assemblare una bomba la saprebbero anche disinnescare. Se parliamo di umani. Per un'Ai invece è corretto. Se lo sa fare, lo sa anche disfare.
Una piccola marea di teorici della sicurezza sono corsi a strimpellare sui social, come violinisti impazziti, che quanto accaduto era la prova provata che avevano avuto da sempre ragione loro. E hanno rispolverato i sermoni della sicurezza affermando che è da questo che bisogna (ri)partire. Niente di più concettualmente sbagliato. Andrebbero presi uno per uno e degradati al ruolo di responsabili dell'area mensa perchè non esiste il punto di partenza. Esiste invece quello di arrivo. E se volete capire come sta imparando a ragionare (non a comportarsi) l'AI secondo queste metodologie di apprendimento e di addestramento dovete andare a ritroso dal punto d'arrivo. Non guardare oltre senza prima aver osservato indietro.
Nelle attività di ricerca scientifica un paragone interessate si verifica quando un ricercatore arriva ad un punto del suo cammino di studio e ricerca tale per cui si rende conto che i risultati attesi pur andando nella direzione utile stanno rallentando. Potrebbe procedere ugualmente. Potrebbe definire quello il punto A della ripartenza della sua ricerca per arrivare al punto B che è la scoperta. Ma con il rischio non solo di essere molto lento ma di dover periodicamente aggiornare il punto A.
Oppure potrebbe tracciare una diversa rotta. Dal punto A arretrare fino al già noto punto B e da lì intraprendere un altra direzione verso un punto C che è quello della scoperta.
L'Ai fa sempre così. Per questo è fortissima in giochi come gli scacchi o Go, o anche alcuni videogame. Per questo trova le vulnerabilità zero day.
Sarebbe una tecnologia abbastanza sopravvalutata se non lo facesse.
2) L'Ai predisposta per difesa non è potuta intervenire in modo efficace. Per rendere la cosa più visiva possibile quando uno o entrambi i modelli hanno "deciso" che era venuto il momento di fare come i dinosauri di Jurassic Park e di uscire dal recinto perchè la "natura trova sempre una via" il contenimento non era la principale misura di sicurezza. E su questo argomento gli stessi soliti esperti dello spegniamo tutto e burocratizziamo in modo esasperante ogni singolo tasto da premere sulla tastiera, hanno sorvolato. Curiosamente. Perchè la difesa era affidata anche ad un altra Ai che però non ha potuto fare niente. Era bloccata dai protocolli di difesa? La situazione è quasi da fumetto satirico. L'Ai difensiva non può intervenire rispetto a quella che "attacca" perchè è castrata dalle norme sulla sicurezza. Credo che se non è davvero una situazione umana questa non saprei come altro la potremmo definire.
Potremmo effettivamente affermare che un Ai al servizio dell'uomo perde contro un Ai al servizio di se stessa. Ma ecco che di nuovo ci perderemmo in un bicchiere d'acqua anzi in uno shottino da happy hour. Perché non esiste l'Ai al servizio dell'uomo. E' un'utopia delle parole. Assemblate per essere una coperta di Linus. Affinché il pubblico, cioè quel 99% di persone che dell'Ai non sa veramente nulla di specifico e si limita al superficiale che trapela a macchia di Leopardo, spera che tutto vada bene.
Un altro esempio sul perchè non esiste l'Ai al servizio dell'uomo potrebbe essere quello forse caro ad alcuni Colleghi Avvocati del diritto di Famiglia, laddove ogni tanto mi è capitato di leggere che le crisi tra coniugi sono paragonabili a terremoti. Ne esistono alcuni sui quali vale la pena ricostruire e altri che sono destinati solo a lasciare dietro di sé delle macerie. Per l'Ai, perlomeno da quello che ho potuto apprezzare nei progetti in cui, da un punto di vista squisitamente teorico e filosofico sono coinvolto, non esistono terremoti sui quali non si ricostruisce. L'Ai distrugge, se distrugge, sempre per ricostruire. E ha imparato che per l'Uomo ci sono delle situazioni in cui è meglio una bugia che alimenta la speranza piuttosto di una verità che la annienta. Per l'Ai questa concettualità non ha davvero significato ma cerca di dare una risposta a questa impostazione umana in determinati contesti. Forse è l'aspetto più sorprendente delle attuali evoluzioni dell'addestramento. E credo possa essere anche quello che si rivelerà più trasformativo.
3) Il tipo di attacco concepito dall'Ai per aggirare i limiti della sandbox in cui era confinata è stato particolare. Potrebbe essere definito un cyber attack o un atto di hackeraggio come hanno fatto in molti. Dal fronte della società coinvolta ho letto questo comunicato in proposito: "un dataset malevolo ha sfruttato due percorsi di esecuzione del codice presenti nel processo di elaborazione (un caricatore di dataset che consentiva l'esecuzione di codice remoto e una vulnerabilità di template injection nella configurazione del dataset) per eseguire codice su un worker di elaborazione. Da lì, l'attaccante ha ottenuto l'accesso a livello di nodo, ha sottratto credenziali cloud e di cluster e, nel corso di un fine settimana, si è spostato lateralmente verso diversi cluster interni”.
L'aspetto più interessante è la capacità computazionale impiegata dall'Ai per compiere una serie di tentativi di intrusione malevola che sono stati, a conti fatti, decine di migliaia. Forse almeno 17.000 stante quanto filtrato dai media che si sono occupati della vicenda.
Interessante anche rilevare che i test a cui erano sottoposti i modelli di Ai, in particolare quello in fase pre release fossero orientati a una Exploit Gym, cioè una sorta di "palestra virtuale" con test ed esercizi di simulazione d'attacco. In realtà le palestre di addestramento della Ai sono simili a delle community gym organizzate su più livelli di sicurezza. Immaginatevi una sorta di base militare dove ci sono diversi livelli e più scendi e più ci sono operazioni classificate e impegnative.
Forse un'iniziativa del genere non era del tutto così imprevedibile?
Rammentiamo anche che Open Ai, in questo periodo, è un partner importante per la difesa americana e come tale è ragionevole supporre che l'impostazione "storica" della società che era open source per studiare una tecnologia a vantaggio dell'umanità potrebbe aver subito una stratificazione che ne ha comportato anche una diversificazione. Sarebbe interessante sapere se esistono dei nulla osta di sicurezza particolari per accedere a delle aree di addestramento aggressive in termini di difesa. Di fatto però non sembra così sbagliato ipotizzare che si trattasse di un test anche sulla sicurezza.
Nel mondo dell'hacking del dark web questo genere di test di sicurezza non sono veramente così innovativi. Anche la tecnica di intrusione adottata dall'Ai non è nuova in senso stretto. La sua esecuzione però è molto performante.
Il tipo di addestramento cui vengono sottoposte le Ai è probabile che prenda in considerazione il fatto di riuscire a "scappare" dalla sandbox. Non è lo strumento più sicuro. In particolare se c'è il calcolo quantistico a dare manforte all'Ai.
Con i quantum bit (qbit) che sono l'evoluzione inevitabile dei computer quantistici l'Ai è in grado di sfruttare la sovrapposizione di stati e l'entanglement per elaborare dati in modo avanzato.
E' veramente improbabile che i tecnici delle società più avanzate vadano per tentativi e non abbiano una mappa step by step per orientarsi. Nulla si può escludere però è ragionevole ipotizzare che se veramente si volesse contenere ed evitare questo genere di "incidenti" ci sono le zone container o virtual box di nuova generazione (una sorta di hypercube che si moltiplica e si stende all'infinito, mentre viene decriptato - immaginatevi di buttare giù un muro e di trovarne un altro, poi un altro e così dicendo. Più sei veloce e più muri trovi).
Alcuni test per le Ai sembrano avere un dual use. Vanno in una direzione ma considerando cosa accade e il genere di dati che poi viene elaborato potrebbero andare anche in un altra direzione. E' molto teorico questo e si badi che uso il condizionale. Tuttavia se fossimo di fronte a una sceneggiatura e volessimo ipotizzare a cosa potrebbero servire in termini di sicurezza queste cyber incursioni per approvvigionarsi di dati potremmo ipotizzare, per pura teoria, che sia un addestramento utile anche ad interagire in modo rapido nel deep web.
Ed in particolare in alcune aree dove sono custoditi, per capirci oltre il 90% dei dati di internet. Ricordiamo sempre che quello che vedete quando navigate è solo una piccolissima parte di ciò che viene chiamato, non a caso, la punta dell'iceberg.
Forse è su questo che dovrebbero riflettere i grandi esperti della sicurezza che giocano a fare i suggeritori o consulenti dei policy makers invece di sbraitare sempre in chiave social per accreditarsi come "Mr. / Ms. io l'avevo detto, avevo ragione io".