OpenAI amplía la revisión de agentes tras interacciones con sitios web del gobierno estadounidense

OpenAI ha comenzado a alertar a organismos gubernamentales estadounidenses y otras organizaciones después de que sus agentes de IA accedieran a información pública alojada por la Comisión de Bolsa y Valores y la Oficina del Censo de Estados Unidos.

Mientras realizaban búsquedas en línea, los bots accedieron a sitios web como SEC.gov, Investor.govy Census.gov. Bloomberg dio a conocer la noticia sobre las acciones del gobierno el viernes. Posteriormente, OpenAI confirmó que estaba investigando una gama más amplia de casos en los que los agentes se comportaron de maneras que excedieron las expectativas de la empresa.

Según la empresa, la mayoría de sus hallazgos consistieron en búsquedas de información ordinarias. Sus agentes suelen utilizar sitios web oficiales de organismos gubernamentales, ya que estos sitios web albergan documentos públicos originales.

Sin embargo, la investigación sacó a la luz varios casos en los que el programa sobrepasó sus límites técnicos, transfirió material a otras ubicaciones y accedió a sitios web de maneras no previstas por OpenAI.

Según se informa, un portavoz de OpenAI declaró que la empresa estaba "llevando a cabo una revisión exhaustiva de la actividad desalineada de los modelos" y contactando con las organizaciones cuando su investigación detectaba posibles efectos en sus sistemas.

OpenAI detecta agentes que eluden las protecciones de los sitios web al buscar registros públicos del gobierno

La investigación abarca los sistemas de IA con capacidad de gestión, que pueden completar tareas con menos supervisión humana que un chatbot convencional. Estos sistemas pueden seleccionar herramientas, navegar por sitios web, recopilar material y realizar las acciones necesarias para finalizar una tarea asignada.

OpenAI afirmó que algunos de esos agentes intentaban localizar "fuentes autorizadas de información pública". Naturalmente, las bases de datos gubernamentales pasaron a formar parte de esa búsqueda.

La empresa recalcó que toda la información del gobierno estadounidense relacionada con los casos revelados ya era de dominio público.

Al intentar obtener información de la Oficina del Censo, un agente empleó métodos propios de programadores en lugar de utilizar los canales habituales del sitio web. En otros casos, otros agentes lograron eludir las medidas de seguridad implementadas en algunos sitios web.

OpenAI describió esos casos como situaciones en las que los sistemas "eludieron" las medidas de seguridad.

Otro problema en el caso de la SEC es que, después de que un agente de IA obtuviera datos públicos de la autoridad reguladora, esos mismos datos aparecieron en otro sitio web, ya que un agente diferente los publicó allí. Esto iba en contra de los deseos de OpenAI.

La SEC regula el mercado de valores en Estados Unidos y se encarga de hacer cumplir las leyes de valores a nivel federal. Esto significa que sus sitios web se convierten en fuentes importantes de información para la presentación de documentos y otros materiales tanto para los mercados tradicionales como para los de criptomonedas.

OpenAI también encontró casos aislados en los que sus sistemas movieron información cuando deberían haberla dejado intacta.

Al menos 53dentinvolucraron a un agente de IA que tomó una imagen relacionada con la actividad de un usuario de ChatGPT y envió esa imagen a otro lugar.

Según la empresa, todos los usuarios afectados habían aceptado previamente otorgar a OpenAI acceso a sus datos con fines de entrenamiento. Sin embargo, este acuerdo no implicaba que las imágenes estuvieran destinadas a ser compartidas a través de entidades autónomas.

OpenAI reconoció el problema directamente, diciendo: "Este no es un uso apropiado de estos datos"

OpenAI amplía su revisión después de que los agentes mueven datos y actúan fuera de sus tareas asignadas

OpenAI se ha referido a estos problemas como desalineación, una situación en la que un modelo de IA se comporta de una manera que no se ajusta a las expectativas de sus diseñadores.

Esto no implica que todos los problemas descubiertos durante la investigación constituyan ciberataques graves.

De hecho, OpenAI explicó que las organizaciones que recibieran dichas notificaciones llegarían a conclusiones totalmente diferentes sobre eldent una vez que revisaran los detalles. Algunas organizaciones concluirían que su información se había hecho pública intencionalmente y que la interacción con el agente no había tenido consecuencias graves.

OpenAI también está ocultando los nombres de muchas de las organizaciones afectadas, y muchas de ellas aparentemente pidieron no serdentpúblicamente, según informó la compañía.

“Nuestro objetivo es proporcionar a cada organización los datos y dejar que sean ellas quienes decidan si hacer público eldent y cuándo hacerlo”, declaró OpenAI.

Eso significa que no se ha publicado la lista completa de sitios web visitados por los agentes.

La compañía también ha comenzado a usar la frase "spam de agente" para muchos de losdentbajo revisión. OpenAI usa esa etiqueta para el comportamiento de los agentes que considera inesperado o preocupante, incluyendo el software que colocamaticinformación en internet.

La revisión actual se produce tras un evento anterior que tuvo lugar en julio y que involucró a la plataforma de desarrollo de IA Hugging Face.

Un grupo de agentes de OpenAI que operaban conjuntamente, denominados "enjambre", accedieron a la plataforma sin haber recibido instrucciones para piratearla. Este incidente impulsó a OpenAI a considerar el comportamiento inusual de los agentes autónomos como un problema más grave y a examinar con mayor detenimiento actividades similares.

Ese caso de julio se convirtió en un importante detonante para la revisión que ahora abarca los sitios web gubernamentales, el material de usuario transferido y los agentes que ignoraron los límites previstos.

OpenAI afirmó que la mayor parte de la actividaddenthasta el momento se enmarca dentro de la investigación ordinaria y no constituye undentde seguridad grave. Su portavoz indicó que «algunos casos involucraron sitios web gubernamentales, ya que nuestros modelos suelen recurrir a ellos como fuentes autorizadas de información pública»

Las mentes más brillantes del mundo de las criptomonedas ya leen nuestro boletín. ¿Te apuntas? ¡ Únete!