Apple ignoró las advertencias de los ingenieros sobre la tecnología de inteligencia artificial defectuosa

Según se informa, Apple ignoró las advertencias de los ingenieros sobre su Apple Intelligence defectuoso y lanzó la tecnología, obteniendo críticas decepcionantes en el mercado.

Apple Intelligence del fabricante del iPhone apareció en los titulares por razones equivocadas y obtuvo críticas generalizadas, particularmente por inventar información falsa y titulares de noticias fallidos.

Los ingenieros descubrieron fallas en muchos modelos, incluido Apple Intelligence

Si bien es común que los grandes modelos de lenguaje tengan alucinaciones, un desafío que la industria de la IA aún debe resolver, si es que alguna vez lo logra, el caso de Apple fue un poco diferente. Los ingenieros notaron algunos defectos profundos en el modelo antes de su lanzamiento. Sin embargo, la empresa ignoró las advertencias.

Según los analistas, proceder a lanzar el modelo fue imprudente por parte del gigante tecnológico después de que se emitieran advertencias sobre las enormes deficiencias de su defi . Las advertencias surgieron a través de un estudio publicado en octubre del año pasado.

Aunque aún no ha sido revisado por pares, el estudio también concluyó que los modelos no razonan, después de probar el “razonamiento” matic de algunos de los principales LLM en la industria de la IA.

Para probar los modelos, los ingenieros les hicieron resolver miles de problemas matemáticos del conjunto de datos GSM8K , que es el punto de referencia de la industria.

Según Futurism, una pregunta típica del conjunto de datos dice: “James compra 5 paquetes de carne de res de 4 libras cada uno. El precio de la carne de res es de $5.50 por libra. ¿Cuánto pagó?

Los ingenieros expusieron las lagunas en los modelos de IA simplemente cambiando algunos números en las preguntas para evitar la contaminación de los datos. Esto provocó algunas imprecisiones pequeñas pero notables en los 20 LLM examinados.

Sin embargo, cuando los investigadores dieron un paso más y cambiaron los nombres y agregaron algunos "detalles irrelevantes", los resultados fueron "catastróficos", llegando hasta el 65%.

Los investigadores escribieron: "Esto revela una falla crítica en la capacidad de los modelos para discernir información relevante para la resolución de problemas, probablemente porque su razonamiento no es formal en el sentido común y se basa principalmente en la coincidencia de patrones".

Según los investigadores, los resultados diferían con cada modelo. La vista previa 01 de OpenAI cayó un 17,5% y su predecesor GPT-4o cayó un 32%. Los investigadores observaron que incluso los modelos "más inteligentes" enfrentaban problemas y presentaban algunos defectos graves.

Los modelos de IA luchan solos 

Las pruebas también demostraron que los modelos de IA pueden parecer inteligentes para resolver problemas, pero una vez que no copian palabra por palabra la tarea de alguien, tienen dificultades. En cuanto a Apple , el gigante tecnológico supuestamente conocía los resultados de las pruebas, pero lanzó su modelo al mercado.

Fue necesaria una fuerte reacción del mercado, incluida la BBC que expresó su preocupación sobre el modelo que proporciona información engañosa, para que Apple finalmente pausara el programa hasta que pudiera solucionarlo.

Se esperaba que la función de inteligencia artificial de Apple resumiera las notificaciones de noticias, pero a veces inventaba noticias por sí sola, para disgusto de lectores y editores de noticias.

Una de las alertas de noticias inexactas alegaba que Rafael Nadal era gay y que un hombre acusado de matar a un jefe de seguros estadounidense se había pegado un tiro. La IA de Apple también resumió incorrectamente las notificaciones de la aplicación de la BBC para afirmar que Luke Littler había ganado el Campeonato Mundial de Dardos PDC horas antes de que comenzara.

Otro resumen incorrecto de una historia del New York Times parece haber sido publicado el 6 de enero, relacionado con el cuarto aniversario de los disturbios en el Capitolio.

"Las funciones de Apple Intelligence están en versión beta y estamos realizando mejoras continuamente con la ayuda de los comentarios de los usuarios", dijo Apple en un comunicado a la BBC. “Una actualización de software en las próximas semanas aclarará aún más cuándo el texto que se muestra es un resumen proporcionado por Apple Intelligence. Alentamos a los usuarios a informar una inquietud si ven un resumen de notificación inesperado”, agrega .

La característica defectuosa de Apple fue una de las herramientas de inteligencia artificial lanzadas a los usuarios de algunos iPhones más nuevos en diciembre, incluidos los teléfonos iPhone 16, 15 Pro y 15 Pro Max, así como en algunos iPads y Macs.

Un sistema paso a paso para iniciar su carrera en Web3 y conseguir trabajos criptográficos bien remunerados en 90 días.