OpenAI está preparando un cambio importante para los usuarios en la Unión Europea. Los textos generados a través de ChatGPT y Codex incluirán, en las próximas semanas, una marca de agua digital invisible que permitirá identificar mediante software que fueron creados con inteligencia artificial.

La compañía OpenAI anunció este nuevo sistema el lunes 5 de octubre. La tecnología, denominada textGrain, se implementará gradualmente en ciertos textos generados por ChatGPT y Codex en toda la Unión Europea y afectará a los usuarios de todos los planes. Una de las razones son las nuevas exigencias del reglamento europeo sobre inteligencia artificial, conocido como AI Act.

Sin embargo, no se trata de una marca de agua clásica que el usuario pueda ver en la pantalla. El texto no contendrá ninguna advertencia ni símbolo especial. textGrain funciona de manera diferente: al generar una respuesta, influye ligeramente en la selección de palabras individuales y crea un patrón estadístico en el texto que puede ser reconocido posteriormente por un detector especializado.

La marca de agua permanece como parte del texto incluso después de copiarlo, por ejemplo, en un documento, correo electrónico o página web.

La marca de agua tiene sus limitaciones

OpenAI también advierte que la tecnología no es completamente fiable. Cuanto más corto o modificado esté el texto, más difícil es determinar su origen con fiabilidad.

En una de las pruebas, el sistema logró reconocer la marca de agua en aproximadamente el 92 por ciento de los casos para un texto original de varias cientos de "tokens". Sin embargo, después de reemplazar el 10 por ciento de las palabras con sinónimos, la tasa de éxito disminuyó a aproximadamente el 66 por ciento. Si se modificó el 25 por ciento de las palabras, el detector solo reconoció la marca en aproximadamente el 17 por ciento de los casos.

También son problemáticas las respuestas muy cortas, los textos matemáticos o las traducciones. Por lo tanto, OpenAI enfatiza que la ausencia de la marca de agua no será una prueba definitiva de que un texto fue escrito por una persona.

De igual manera, se aplica el principio inverso. La detección de la marca de agua solo indica que el texto pudo haber sido creado o procesado por un sistema de OpenAI. No proporciona información sobre cuánto trabajo humano hubo en él, si fue modificado posteriormente ni quién lo creó específicamente.

Los usuarios no podrán ser rastreados

También es importante la cuestión de la privacidad. OpenAI afirma que la marca de agua no contendrá información sobre el usuario específico, la cuenta utilizada, el "prompt" empleado ni la conversación en sí.

Además, el detector no estará disponible para el público inicialmente. Primero, investigadores y organizaciones especializadas recibirán acceso para ayudar a evaluar su fiabilidad y posibles usos.

Para los clientes que utilizan la interfaz API, la situación será diferente. Estos podrán activar voluntariamente la marca de agua en los modelos compatibles en todo el mundo. Sin embargo, por defecto, permanecerá desactivada.

En esta primera fase, el cambio afectará principalmente a los usuarios habituales de ChatGPT y Codex en la Unión Europea. OpenAI prevé una implementación gradual durante las próximas semanas y reconoce que el método para identificar textos seguirá evolucionando según la experiencia obtenida con su uso real.

Jaroslav Holý