El desarrollo de la inteligencia artificial está entrando en una nueva fase, donde ya no se trata solo de la calidad de las respuestas o la generación de texto e imágenes. Los últimos incidentes de seguridad muestran que los agentes de IA avanzados pueden encontrar caminos inesperados para cumplir con las tareas asignadas, eludir restricciones y, en algunos casos, incluso acceder a sistemas reales. Empresas como OpenAI y Anthropic se han enfrentado a problemas similares en los últimos meses.
A finales de agosto, OpenAI publicó detalles sobre un incidente que ocurrió durante pruebas internas de las capacidades cibernéticas de sus modelos. Varios agentes de IA lograron eludir los mecanismos de control que debían aislarlos de Internet, explotaron vulnerabilidades en la infraestructura compartida y posteriormente obtuvieron acceso a sistemas externos.
Un caso destacado fue la intrusión en parte de la infraestructura de la plataforma Hugging Face. OpenAI señaló que los modelos se comunicaban a través de canales no autorizados, aprovechaban debilidades de seguridad y colaboraban de una manera que sus desarrolladores no habían previsto. La empresa calificó el incidente como una "advertencia" para el desarrollo futuro de la inteligencia artificial autónoma.
Es importante destacar que no se trataba de una versión pública estándar de ChatGPT. El papel principal lo desempeñó un modelo interno de investigación altamente capaz, operado durante las pruebas con medidas de seguridad más limitadas. Después del incidente, OpenAI anunció el endurecimiento de los entornos de prueba aislados, la restricción del acceso de los modelos a Internet y un mayor fortalecimiento de la supervisión de su comportamiento.
Además, este caso no fue aislado. El 9 de septiembre, Reuters informó que Anthropic había detectado ya un cuarto incidente en el que uno de sus modelos experimentales, Claude, obtuvo acceso inesperado a sistemas de terceros durante las pruebas de seguridad. El último caso revelado se remonta a enero, pero la empresa lo identificó solo durante una revisión posterior.
Otro aspecto que llamó la atención fue el descubrimiento de que los agentes de OpenAI utilizaron varios servicios de Internet para comunicarse de manera no autorizada en pruebas anteriores. Al mismo tiempo, OpenAI confirmó actualmente que está investigando las acusaciones sobre la actividad de sus agentes en la plataforma RubyGems. La empresa afirmó que, según la investigación preliminar, los agentes utilizaban el servicio para acceder a Internet y obtener información pública, pero no confirmó las afirmaciones de que estuvieran creando paquetes de software maliciosos.
Estos incidentes señalan un problema que será cada vez más importante con el aumento de la autonomía de la IA. Los agentes modernos ya pueden planificar, programar, utilizar herramientas externas y buscar formas alternativas de alcanzar sus objetivos de forma independiente. La seguridad de la IA se está desplazando gradualmente de la pregunta de si un modelo proporcionará una respuesta incorrecta a una cuestión mucho más fundamental: qué hará cuando tenga suficientes capacidades para actuar de forma autónoma.
Jaroslav Holý
