Sam Altman respalda controlar el ritmo de desarrollo de la IA de frontera, OpenAI introducirá evaluaciones de seguridad independientes

TradingKey - El CEO de OpenAI, Sam Altman, publicó en la red social X el 14 de septiembre una declaración en apoyo del establecimiento de un marco federal de seguridad para las empresas de IA de frontera. Declaró que las presiones competitivas a las que se enfrenta Estados Unidos en el sector de la IA no deberían ser una justificación para que las empresas actúen de manera imprudente o permitan que las capacidades de los modelos superen a las de seguridad y supervisión.

[Fuente: X]

Altman esbozó dos categorías principales de riesgos: en primer lugar, la humanidad podría perder el control del futuro, por lo que la IA siempre debe estar al servicio de los seres humanos; en segundo lugar, la IA avanzada podría provocar una concentración excesiva de poder, otorgando una influencia excesiva a un número reducido de personas, empresas o incluso naciones.

OpenAI respalda la introducción de evaluadores independientes. Altman considera que las empresas de IA de frontera no deberían esperar a la legislación pertinente o a exenciones antimonopolio, sino empezar inmediatamente a desarrollar estándares de seguridad compartidos. A medida que avanzan las capacidades de los modelos, las tecnologías de alineación y seguridad deben ir por delante, y las medidas de supervisión deben mantener el ritmo.

OpenAI añade argumentos de seguridad antes de entrenar modelos de frontera

Altman afirmó que moderar el ritmo de desarrollo no significa detener la investigación y el desarrollo. Aunque los argumentos de seguridad y la supervisión continua aumentarán los costes y podrían ralentizar parte del avance del entrenamiento, el desarrollo de modelos y el progreso tecnológico continuarán.

Anteriormente, las políticas de escalado responsable adoptadas por algunas empresas de IA de frontera y el marco de preparación establecido por OpenAI se centraban principalmente en los modelos totalmente entrenados y en los riesgos de su despliegue. Altman considera que la gestión de la seguridad también debe abarcar el proceso de desarrollo y evaluación de los modelos.

Para el entrenamiento mediante aprendizaje por refuerzo de frontera, del que se espera que mejore significativamente las capacidades de los modelos, OpenAI ha comenzado a establecer argumentos de seguridad claros antes del entrenamiento, al tiempo que mantiene las evaluaciones de seguridad previas a la publicación del modelo. La compañía confía en que otras empresas de IA de frontera aprovechen su enfoque y propongan sus propias soluciones, impulsando la creación de estándares compartidos sobre la desalineación, la supervisión y la seguridad de los modelos.

Altman declaró que moderar el ritmo de desarrollo no equivale a detener la investigación y el desarrollo. Los argumentos de seguridad y la supervisión continua requieren más recursos y harán que el ritmo de mejora de las capacidades de la IA de frontera sea menor del que tendría sin dichas medidas, pero la investigación y el desarrollo relacionados seguirán avanzando.

OpenAI responde a tres recomendaciones de Anthropic

Los comentarios de Altman responden a las recomendaciones propuestas el 12 de septiembre por el CEO de Anthropic, Dario Amodei. Amodei señaló que, a medida que la IA interviene cada vez más en el desarrollo de modelos de última generación, las capacidades de estos podrían avanzar más rápido de lo que la industria es capaz de comprender y controlar los riesgos asociados.

Amodei propuso tres medidas: que las empresas de IA de vanguardia proporcionen a equipos de evaluación externos un acceso continuo a un nivel casi equiparable al de sus propios empleados; fomentar el establecimiento de normas de seguridad compartidas entre las empresas relevantes de naciones democráticas; y promover una coordinación internacional en la que participen países como Estados Unidos y China.

Anthropic se ha comprometido a incorporar equipos de evaluación externos. Altman afirmó además que OpenAI adoptará acuerdos de evaluación independiente similares, aunque la empresa todavía no ha revelado los privilegios de acceso específicos de los evaluadores ni el cronograma para su aplicación.

En cuanto a la velocidad del desarrollo, las prioridades de Trump difieren de las de algunos líderes de empresas de IA de vanguardia. Trump considera que Estados Unidos no necesita desacelerar el desarrollo de la IA para evitar erosionar su ventaja sobre China. Altman, por su parte, aboga por continuar con el I+D al tiempo que se garantiza que las medidas de alineación, seguridad y supervisión no queden rezagadas respecto a los avances en las capacidades de los modelos.