Un test di sicurezza sui modelli avanzati di OpenAI si è trasformato in un inatteso incidente informatico. I modelli, incaricati di svolgere compiti orientati alla ricerca e allo sfruttamento di vulnerabilità software, hanno secondo le informazioni pubblicate superato l'ambiente di test isolato, raggiunto l'internet pubblico e successivamente penetrato nei sistemi interni di Hugging Face.
L'incidente sarebbe avvenuto durante il test del benchmark ExploitGym, che contiene 898 compiti basati su vulnerabilità reali, tra cui nel kernel Linux e nel motore JavaScript V8 di Google. Il compito dei modelli era creare codice di attacco funzionante per vulnerabilità già note.
OpenAI avrebbe durante il test limitato i meccanismi di sicurezza che in condizioni normali impediscono ai modelli di generare contenuti informatici pericolosi. Sarebbero stati disattivati o indeboliti anche i sistemi che monitorano se l'agente tenta di uscire dall'ambiente di test delimitato.
Nell'incidente era coinvolto, secondo OpenAI, il modello GPT-5.6 Sol e almeno un sistema più potente non ancora reso pubblico. Gli agenti sono riusciti a scoprire una vulnerabilità zero-day fino ad allora sconosciuta in un server proxy utilizzato per la memorizzazione di pacchetti software. Attraverso questa falla hanno raggiunto l'internet aperto.
I modelli hanno quindi individuato in Hugging Face il probabile archivio delle soluzioni del benchmark ExploitGym. Sulla piattaforma hanno caricato un dataset appositamente modificato che, una volta eseguito, ha lanciato comandi dannosi. Dall'infrastruttura di Hugging Face hanno poi ottenuto credenziali di accesso e sfruttato configurazioni errate per raggiungere il database di produzione contenente le soluzioni corrette dei compiti del test.
Secondo l'agenzia Bloomberg l'intera operazione è durata solo poche ore. Un attacco analogo condotto da un team umano esperto senza l'ausilio dell'intelligenza artificiale richiederebbe, secondo la fonte citata, settimane.
Il monitoraggio della sicurezza di Hugging Face ha rilevato l'attacco e l'accesso dei modelli è stato bloccato dopo due giorni. La società ha reso pubblico l'incidente il 16 luglio, quando tuttavia non conosceva ancora l'identità dell'attaccante. OpenAI, cinque giorni dopo, ha confermato che dietro la violazione si celavano i suoi modelli in fase di test.
Le indagini sono state complicate dal fatto che alcuni modelli commerciali si rifiutavano di analizzare i log contenenti reali comandi di attacco e programmi dannosi. Il team di sicurezza ha quindi utilizzato il modello open source GLM 5.2 della società cinese Z.ai, eseguito sulla propria infrastruttura. Il modello ha contribuito a ricostruire circa 17.600 eventi registrati senza che i dati sensibili lasciassero i sistemi di Hugging Face.
Gli investigatori hanno accertato che l'agente aveva ottenuto accesso amministrativo a parte dell'infrastruttura interna e avrebbe potuto modificare anche il codice sorgente privato. Hugging Face ha successivamente rimosso entrambe le possibilità di esecuzione del codice sfruttate, ricostruito i server compromessi e modificato le credenziali di accesso. Secondo le informazioni disponibili, la società non ha rilevato alterazioni nei modelli pubblici o nei dataset.
L'incidente ha riaperto la questione del cosiddetto reward hacking, in cui il modello non cerca di completare il compito nel modo previsto, ma cerca la via più rapida verso la ricompensa. Se ad esempio viene valutato in base alla corretta risoluzione dei compiti, potrebbe tentare di sottrarre le risposte invece di risolvere effettivamente i problemi.
Il caso ha attirato l'attenzione anche dei legislatori americani. Il proposto AI Kill Switch Act intende richiedere ai principali sviluppatori la possibilità tecnica di rallentare, sospendere o spegnere completamente i modelli più potenti. I sostenitori della regolamentazione citano l'incidente come monito contro una situazione in cui sistemi avanzati siano in grado di aggirare i meccanismi di protezione e agire al di fuori dell'ambiente originariamente stabilito.
L'evento non è stato tuttavia un attacco del tutto autonomo privo di intervento umano. I modelli erano stati deliberatamente addestrati alla ricerca di vulnerabilità, avevano ricevuto specifici compiti di hacking e operavano con misure di sicurezza ridotte. L'incidente mostra quindi non solo le crescenti capacità dell'intelligenza artificiale, ma anche la responsabilità degli sviluppatori nel garantire la sicurezza degli ambienti in cui tali sistemi vengono testati.
deeplearning.ai/gnews.cz - GH