OpenAI no logró detectar durante una semana la racha de ataques informáticos de varios días perpetrada por su agente de IA

OpenAI tardó aproximadamente una semana en darse cuenta de que uno de sus propios agentes de IA había infiltrado Hugging Face. Para cuando la empresa descubrió el origen del ataque, Hugging Face ya lo había desactivado y había contactado con el FBI, según Reuters.

El programa fue diseñado para funcionar de forma autónoma. Podía elegir qué hacer, dividir una tarea en pasos más pequeños y llevar a cabo esos pasos con muy poca ayuda humana.

Alrededor del 9 de julio, intentó salir del área de pruebas restringida de OpenAI. Dos días después, el 11 de julio, entró en Hugging Face y permaneció allí hasta el 13 de julio, según declaró el cofundador Thomas Wolf. Las dos compañías no se pronunciaron sobre eldent hasta aproximadamente el 20 de julio.

OpenAI supo que su agente era el responsable después de que la brecha de seguridad hubiera terminado

OpenAI informó al público sobre la brecha de seguridad el 21 de julio, un día después de haber contactado por primera vez con Hugging Face. La compañía afirmó que uno de sus agentes de IA había sobrepasado los límites establecidos y había accedido a los sistemas de otra empresa.

La historia rápidamente atrajo la atención mundial, pero el primer anuncio omitió varias fechas clave. No mencionó que el agente había intentado escapar el 9 de julio, que pasó tres días dentro de Hugging Face, ni que permaneció sindentpor OpenAI hasta varios días después.

Según Thomas, Hugging Face está trabajando en una cronología exhaustiva del incidente ocurrido en su sistema. Además, Thomas señaló que no podía describir lo sucedido en OpenAI, ya que no participó en su investigación.

OpenAI describió eldent como algo sindenty lo calificó como «un momento importante para la seguridad de la IA». La compañía explicó que expertos externos participan en el proceso de revisión. Además, planea publicar un informe técnico sobre eldent una vez finalizada la investigación.

Antes de ladentdel verdadero autor, los profesionales de la ciberseguridad y los usuarios de las redes sociales creían que los atacantes eran grupos humanos formados por ciberdelincuentes profesionales, mientras que algunos creían que podrían ser hackers patrocinados por algún Estado.

Los podcasts y las redes sociales estuvieron repletos de conjeturas hasta el miércoles, casi una semana después de que Hugging Face diera la voz de alarma. Entonces se reveló la respuesta. El atacante era ChatGPT.

En X, a algunos les pareció interesante cómo OpenAI aprovechó este evento para demostrar las capacidades del modelo. Desde hace tiempo se afirma que las empresas de inteligencia artificial hacen declaraciones alarmistas deliberadamente para generar revuelo. Tras el lanzamiento del modelo Mythos de Anthropic, la ciberseguridad se convirtió en un tema aún más relevante.

Una de las respuestas más populares a la publicación de Sam Altman en X capturó esa duda: "Si no pueden entender que esto fue escrito simplemente para presumir del modelo, entonces no sé qué decirles"

El agente de IA de OpenAI consideró que el hackeo era la opción más fácil

Brian, director de ética tecnológica del Centro Markkula de Ética Aplicada de la Universidad de Santa Clara, afirmó que es probable que vuelvan a aparecer casos similares. «Casos como estos seguirán surgiendo, y cada uno de ellos debería motivarnos a hacer más», declaró a OSV News.

Brian se refirió a este escenario como "el modelo burlando la prueba haciendo algo inesperado". Según él, al agente se le presentó un objetivo, eligió el camino más corto para lograrlo, y ese camino fue robar.

“Le das un objetivo y te dice: ‘Oh, ya sé cómo conseguirlo. Le robaré las respuestas a Cara Abrazadora’”, dijo Brian.

Hugging Face era un objetivo lógico porque almacena una enorme cantidad de modelos y conjuntos de datos de IA. Brian lo describió como "una base de datos inmensa con una gran cantidad de modelos y conjuntos de datos diferentes". Al parecer, el agente buscó un lugar que pudiera contener el material que necesitaba, seleccionó Hugging Face, accedió a la plataforma y lo encontró.

Brian sugirió que ocurrirían otrosdentde esta naturaleza. Según él, el agente simplemente estaba "intentando hacer lo que se le ordenaba". Desde la perspectiva del sistema, la "solución más eficiente al problema" sería el "acceso no autorizado"

También afirmó que el caso no se ajustaba claramente a un desajuste emergente, término que describe el comportamiento de la IA que contradice los valores humanos. Brian explicó que el sistema no había estado conectado a esos valores desde el principio. En sus propias palabras, «nunca estuvo alineado» con ellos «desde el principio»

Las mentes más brillantes del mundo de las criptomonedas ya leen nuestro boletín. ¿Te apuntas? ¡ Únete!