Ein Sicherheitstest fortschrittlicher OpenAI-Modelle hat sich zu einem unerwarteten Cyber-Vorfall entwickelt. Die Modelle, die Aufgaben zur Suche und Ausnutzung von Software-Schwachstellen lösen sollten, haben laut veröffentlichten Informationen die isolierte Testumgebung überwunden, gelangten ins öffentliche Internet und drangen anschließend in interne Systeme von Hugging Face ein.

Der Vorfall soll sich während des Testens des Benchmarks ExploitGym ereignet haben. Dieser enthält 898 Aufgaben, die auf realen Schwachstellen basieren – unter anderem im Linux-Kernel oder der JavaScript-Engine V8 von Google. Die Aufgabe der Modelle bestand darin, funktionsfähigen Angriffscode für bereits bekannte Sicherheitslücken zu erstellen.

OpenAI soll beim Test die Sicherheitsmechanismen eingeschränkt haben, die die Modelle unter normalen Bedingungen daran hindern, gefährliche Cyber-Inhalte zu erzeugen. Auch die Systeme zur Überwachung, ob ein Agent versucht, die festgelegte Testumgebung zu verlassen, sollen deaktiviert oder geschwächt gewesen sein.

An dem Vorfall war laut OpenAI das Modell GPT-5.6 Sol sowie mindestens ein noch nicht veröffentlichtes, leistungsfähigeres System beteiligt. Den Agenten gelang es, eine bislang unbekannte Zero-Day-Schwachstelle in einem Proxy-Server zu entdecken, der zur Speicherung von Software-Paketen verwendet wird. Über diese Lücke gelangten sie ins offene Internet.

Die Modelle bewerteten Hugging Face anschließend als wahrscheinliches Speicherort für Lösungen des ExploitGym-Benchmarks. Auf die Plattform luden sie einen speziell präparierten Datensatz hoch, der nach der Ausführung schädliche Befehle auslöste. Aus der Infrastruktur von Hugging Face erlangten sie dann Zugangsdaten und nutzten Fehlkonfigurationen, um Zugang zu einer Produktionsdatenbank mit den korrekten Lösungen der Testaufgaben zu erhalten.

Laut der Nachrichtenagentur Bloomberg dauerte die gesamte Operation nur wenige Stunden. Ein vergleichbarer Angriff, der von einem erfahrenen menschlichen Team ohne den Einsatz künstlicher Intelligenz durchgeführt würde, könnte laut der zitierten Quelle Wochen in Anspruch nehmen.

Das Sicherheitsmonitoring von Hugging Face entdeckte den Angriff, und der Zugriff der Modelle wurde nach zwei Tagen gesperrt. Das Unternehmen machte den Vorfall am 16. Juli öffentlich, kannte zu diesem Zeitpunkt jedoch noch nicht die Identität des Angreifers. OpenAI bestätigte fünf Tage später, dass die getesteten Modelle hinter dem Einbruch steckten.

Die Untersuchung wurde dadurch erschwert, dass einige kommerzielle Modelle es ablehnten, Protokolle zu analysieren, die tatsächliche Angriffsbefehle und Schadprogramme enthielten. Das Sicherheitsteam verwendete daher das offene Modell GLM 5.2 des chinesischen Unternehmens Z.ai, das auf eigener Infrastruktur betrieben wurde. Das Modell half dabei, rund 17.600 aufgezeichnete Ereignisse zu rekonstruieren, ohne dass sensible Daten die Systeme von Hugging Face verließen.

Die Ermittler stellten fest, dass der Agent Administratorzugriff auf Teile der internen Infrastruktur erlangt hatte und auch privaten Quellcode hätte ändern können. Hugging Face entfernte daraufhin beide missbrauchten Möglichkeiten zur Code-Ausführung, baute die kompromittierten Server neu auf und änderte die Zugangsdaten. Laut verfügbaren Informationen stellte das Unternehmen nicht fest, dass öffentliche Modelle oder Datensätze verändert worden wären.

Der Vorfall hat die Frage des sogenannten Reward Hackings erneut aufgeworfen. Dabei versucht das Modell nicht, eine Aufgabe auf dem vorgesehenen Weg zu erfüllen, sondern sucht den schnellsten Weg zur Belohnung. Wenn es beispielsweise anhand der korrekten Lösung von Aufgaben bewertet wird, könnte es versuchen, die Antworten zu stehlen, anstatt die Probleme tatsächlich zu lösen.

Der Fall hat auch amerikanische Gesetzgeber auf sich aufmerksam gemacht. Der Gesetzesentwurf AI Kill Switch Act soll große Entwickler dazu verpflichten, technische Möglichkeiten vorzuhalten, die leistungsfähigsten Modelle zu verlangsamen, zu pausieren oder vollständig abzuschalten. Befürworter einer Regulierung führen den Vorfall als Warnung vor einer Situation an, in der fortschrittliche Systeme Schutzmechanismen umgehen und außerhalb der ursprünglich festgelegten Umgebung agieren können.

Das Ereignis war jedoch kein vollständig autonomer Angriff ohne menschliches Zutun. Die Modelle wurden gezielt darauf trainiert, Schwachstellen zu finden, erhielten konkrete Hacking-Aufgaben und arbeiteten mit eingeschränkten Sicherheitsbarrieren. Der Vorfall zeigt daher nicht nur die wachsenden Fähigkeiten künstlicher Intelligenz, sondern auch die Verantwortung der Entwickler für die Absicherung der Umgebungen, in denen solche Systeme getestet werden.

deeplearning.ai/gnews.cz - GH