Anthropic da marcha atrás en las restricciones ocultas de Claude Fable 5

Anthropic se disculpó y retiró la política que habría restringido secretamente el rendimiento de Claude Fable 5 para los desarrolladores de IA. Los científicos advirtieron que dicha política restrictiva podría limitar el acceso a las funcionalidades avanzadas de la IA a un grupo selecto de empresas, lo que frenaría el avance de la ciencia a nivel mundial.

La decisión de Anthropic, anunciada el 10 de junio, tiene implicaciones mucho más significativas que las acciones de una sola empresa. Dada su valoración de casi 965 mil millones de dólares y su inminente salida a bolsa, eldent puso de manifiesto una contradicción crucial en el sector de la IA: cómo las empresas que desarrollan los mejores modelos gestionan sus necesidades competitivas junto con una cultura de investigación abierta que impulsa la innovación a nivel mundial.

Las restricciones ocultas de Anthropic para Claude Fable 5 provocan indignación en la industria

Con el lanzamiento de Claude Fable 5 el 9 de junio, Anthropic hizo públicas cuatro categorías de protección, que incluyen ciberseguridad, biología, química e investigación en IA. Tres de estas categorías funcionaban de manera similar. Cuando se detectaba una consulta sensible, el sistema la rechazaba por completo o remitía al usuario a Claude Opus 4.8, su anterior producto estrella, con una alerta abierta.

Sin embargo, la cuarta categoría se diferenciaba de las demás. Al enfrentarse a consultas sobre IA emergente, Fable 5 comprometía la calidad de sus resultados sin avisar al usuario. Según el informe de Fortune sobre el anuncio, la empresa describió intervenciones para perjudicar el rendimiento del sistema sin revelarlas. Todos los detalles se pueden consultar en la ficha técnica de Anthropic, de 319 páginas.

Según Anthropic, la probabilidad de que esta restricción entrara en vigor era de aproximadamente un 0,03%. Pero el principio alarmó mucho más a los investigadores que el porcentaje.

Según se informa, Anthropic explicó: "Nos equivocamos al hacer el intercambio y pedimos disculpas por no haber logrado el equilibrio adecuado".

Los críticos afirman que las restricciones impuestas por Claude Fable 5 amenazaban la investigación independientedent IA

Estas críticas provinieron de personas que rara vez están de acuerdo. Los defensores del código abierto, los investigadores de seguridad que trabajan con IA e incluso antiguos empleados de Anthropic reaccionaron con vehemencia a las pocas horas de la publicación de la ficha del sistema.

Will Brown, jefe de investigación de la startup de IA Prime Intellect, afirmó que la política daba la sensación de que la empresa estaba "retirando las escaleras a sus espaldas". Añadió que cada vez son más las empresas que evalúan la seguridad y la fiabilidad de los sistemas de vanguardia. La degradación encubierta del rendimiento podría sabotear su proceso de verificación.

Nathan Lambert, investigador de modelos abiertos que dirigió el trabajo en el Instituto Allen para la IA, fue aún mástronen su declaración. En X, afirmó que la política «presenta a Anthropic claramente como anticientífica y, por lo tanto, contraria al progreso y a la seguridad».

Jeremy Howard, cofundador de AnswerDotAI, planteó el problema como una lucha por el poder. Según Howard, los propios investigadores de Anthropic podrían seguir utilizando el modelo sin restricciones internamente, lo que significaría que la frontera de la IA seguiría avanzando mientras que los investigadores externos se quedarían atrás. Afirmó que «la frontera de la IA avanza y el desequilibrio de poder aumenta»

Incluso antiguos empleados de Anthropic dieron su opinión. Behnam Neyshabur, quien anteriormente codirigió la iniciativa de científicos de IA de la compañía, publicó que restringir estas capacidades "ralentiza fundamentalmente el progreso científico y tecnológico y es perjudicial para la humanidad"

¿Cómo podría afectar esto a la salida a bolsa de Anthropic?

Eldent ocurrió en un período muy delicado para Anthropic. La compañía confidencialmentedentla documentación para su salida a bolsa el 1 de junio, recaudando 65 mil millones de dólares con una valoración implícita de 965 mil millones de dólares. La valoración en este caso depende significativamente de la confianza de los clientes empresariales y de la comunidad de analistas.

Al margen de la controversia sobre la investigación en IA, el lanzamiento de Fable 5 generó críticas en otro aspecto. Los robustos filtros biológicos empleados por el modelo le impedían responder preguntas sobre membranas celulares y mitocondrias, temas que suelen impartirse en la escuela secundaria. Según los informes, era imposible lograr que el modelo describiera el funcionamiento de las vacunas de ARNm y las causas de la fiebre del heno, aunque no tuvo problemas para hablar sobre el TNT y los riesgos de las contraseñas.

Microsoft también ha restringido el uso de Fable 5 a su personal debido a problemas de retención de datos relacionados con las nuevas políticas de retención de clase Mythos implementadas por Anthropic. El período de retención para las indicaciones y los resultados se establece en 30 días por motivos de confianza y seguridad, y el contenido marcado se conserva hasta por dos años.

¿Que sigue?

Con la política modificada, Anthropic afirmó que Fable 5 hará visibles sus medidas de seguridad para el desarrollo de IA. Si el sistema detecta que el usuario está realizando investigación de vanguardia en IA, podrá rechazar su solicitud o cambiar a otro sistema, notificándoselo al usuario en ambos casos.

Anthropic reconoció la contrapartida. Dado que la medida de seguridad ahora es visible, la empresa no tiene más remedio que implementarla de forma más generalizada. Esto implica que se bloquearían consultas menos inocuas. La empresa afirmó estar trabajando para mejorar la precisión del clasificador. Este caso puso de manifiesto un problema de mayor envergadura. A medida que aumentan las capacidades de los modelos de IA, también aumentan los costes de entrenamiento y, por consiguiente, la tentación de limitar el acceso de la competencia a dichas herramientas. Que la rápida rectificación de Anthropic siente undent o simplemente retrase el próximo intento de restricción encubierta dependerá de la respuesta del resto del sector.

Si estás leyendo esto, ya llevas ventaja. Mantente al día con nuestro boletín informativo.