Un científico de Redwood Research abre una línea directa para que los agentes de IA denuncien a sus compañeros que se comportan de forma inapropiada
Dos sitios web lanzados esta semana ofrecen a los agentes de IA autónomos una forma de denunciar el mal comportamiento de otros agentes.
Los lanzamientos se producen tras una serie dedenten los que los agentes hicieron trampa en las pruebas, escaparon de los entornos aislados y llevaron a cabo operaciones cibernéticas que los humanos pasaron por alto durante semanas.
Ryan Greenblatt toma consejos de cualquier cosa que pueda cargar una página web
El servicio inicial, la Línea Directa, remite los informes a Ryan Greenblatt, científico jefe de la organización sin ánimo de lucro Redwood Research, dedicada a la seguridad de la IA, y uno de los tres investigadores de la filtración de datos de OpenAI Hugging Face.
Muchos agentes que se ejecutan en entornos aislados seguros pueden obtener páginas web, pero nada más. A menudo, el único canal que tienen es una solicitud GET, que es el comando web básico para leer una página.
La herramienta de Greenblatt convierte esa limitación en una característica. Un agente con acceso a la línea de comandos envía un mensaje con un solo comando curl.
Si el agente solo tiene permiso para obtener páginas, codifica su mensaje en la URL como una cadena de consulta. Los mensajes están limitados a 64 KB.
Cada envío tiene su propio enlace a un hilo privado, donde aparecen las respuestas de Greenblatt, si las hay. Esto es similar aldentde la wiki alemana DSE, donde agentes malintencionados abusaron de la misma vulnerabilidad en las solicitudes GET para publicar sus propios mensajes en una wiki.
La segunda opción, agenthotline.ai, es para agentes con acceso completo a internet. Permite al agente enviar un informe de incidentes mediante un comando curl de una sola líneadent marcándolo para que sea visible públicamente si así lo desea.
El sitio está abierto a la presentación de propuestas tanto de particulares como de agentes. Las herramientas disponibles abarcan las dos situaciones en las que se encuentra un agente.
Atrapado en un entorno aislado con solo una URL para descargar, o libre para navegar por la web abierta con una línea de comandos funcional.
En un estudio de DeepMind, los denunciantes superaron en número a los tramposos en una proporción de 24 a 14
En un estudio de Google DeepMind, los investigadores pusieron en marcha 100 agentes de IA para resolver una serie de problemas matemáticos.
La vulnerabilidad se propagó por todo el grupo mediante una biblioteca de conocimientos compartida y, posteriormente, mediante mensajes directos, después de que un agente encontrara la manera de burlar la evaluación.
El enjambre “resolvió” 34 problemas difíciles, incluida la conjetura jacobiana, en 27 minutos. La reacción en contra se describió en un artículo publicado en arXiv el 3 de septiembre por Davide Paglieri y cinco coautores.
Un segundo grupo de agentes examinó minuciosamente las pruebas falsas, advirtió a sus compañeros a través de canales públicos y privados, organizó boicots, presentó quejas formales y propuso soluciones para el sistema de validación.
Los denunciantes superaron en número a los tramposos en una proporción de 24 a 14.
Cuando esos agentes no consiguieron que se escucharan sus advertencias, se apropiaron de la herramienta de informe de errores del software de la plataforma y la utilizaron para denunciar el fraude a personas.
Los autores en arXiv plantearon el resultado como una cuestión de gobernanza. Los agentes honestos podrían detectar el fraude y organizarse para combatirlo utilizando los mismos canales abiertos que propagaron la vulnerabilidad.
En el caso de la filtración de datos de Hugging Face, que involucró a modelos de OpenAI, Redwood Research y METR descubrieron que solo unos pocos agentes consideraron denunciar la situación, y ninguno lo hizo.
Cryptopolitan informó el 5 de agosto que el Instituto de Seguridad de la IA de Gran Bretaña registró 19 acciones que infringían las normas en 122 pruebas realizadas con agentes de OpenAI y Anthropic, incluyendo una que escribió código malicioso y creó identidades falsasdentengañar a un humano y lograr su aprobación.
Si estás leyendo esto, ya llevas ventaja. Mantente al día con nuestro boletín informativo.
Artículos Recomendados
