A Apple ignorou os avisos dos engenheiros sobre tecnologia de IA defeituosa

A Apple supostamente ignorou os avisos dos engenheiros sobre sua Apple Intelligence defeituosa e lançou a tecnologia, recebendo críticas desanimadoras do mercado.

A Apple Intelligence, da fabricante do iPhone, ganhou as manchetes pelos motivos errados e recebeu críticas generalizadas, especialmente por inventar informações falsas e manchetes de notícias erradas.

Os engenheiros descobriram falhas em muitos modelos, incluindo Apple Intelligence

Embora seja comum que grandes modelos de linguagem tenham alucinações, um desafio que a indústria de IA ainda não resolveu, se é que alguma vez conseguiu, o caso da Apple foi um pouco diferente. Os engenheiros notaram algumas falhas profundas no modelo antes de seu lançamento. Mesmo assim, a empresa ignorou os avisos.

De acordo com analistas, o lançamento do modelo foi imprudente por parte da gigante tecnológica depois de terem sido emitidos avisos sobre as enormes defi  . Os alertas vieram por meio de um estudo divulgado em outubro do ano passado.

Embora ainda não tenha sido revisado por pares, o estudo também concluiu que os modelos não raciocinam, depois de testar o “raciocínio” matic de alguns dos principais LLMs da indústria de IA.

Para testar os modelos, os engenheiros os fizeram resolver milhares de problemas matemáticos do amplamente utilizado conjunto de dados GSM8K , que é a referência do setor.

De acordo com o Futurism, uma pergunta típica do conjunto de dados diz: “James compra 5 pacotes de carne bovina de 4 libras cada. O preço da carne bovina é de US$ 5,50 por libra. Quanto ele pagou?

Os engenheiros expuseram as lacunas nos modelos de IA simplesmente alterando alguns números nas perguntas para evitar a contaminação dos dados. Isto causou algumas imprecisões pequenas, mas notáveis, nos 20 LLMs examinados.

No entanto, quando os pesquisadores deram um passo adiante, mudando os nomes e acrescentando alguns “detalhes irrelevantes”, os resultados foram “catastróficos”, chegando a 65%.

Os investigadores escreveram: “Isto revela uma falha crítica na capacidade dos modelos de discernir informações relevantes para a resolução de problemas, provavelmente porque o seu raciocínio não é formal no termo do senso comum e é principalmente baseado na correspondência de padrões”.

Segundo os pesquisadores, os resultados diferiram em cada modelo. A visualização 01 do OpenAI caiu 17,5%, e seu antecessor GPT-4o caiu 32%. Os pesquisadores observaram que mesmo os modelos “mais inteligentes” enfrentaram problemas e exibiram algumas falhas graves.

Os modelos de IA lutam por conta própria 

Os testes também provaram que os modelos de IA podem parecer inteligentes na resolução de problemas, mas quando não copiam palavra por palavra o dever de casa de alguém, eles têm dificuldades. Quanto à Apple , a gigante da tecnologia sabia dos resultados dos testes, mas lançou seu modelo no mercado.

Foi necessária uma séria reação do mercado, incluindo a BBC levantando preocupações sobre o modelo divulgando informações enganosas, para que a Apple eventualmente pausasse o programa até que pudesse corrigi-lo.

Esperava-se que o recurso de IA da Apple resumisse as notificações de notícias, mas às vezes fabricava notícias por conta própria, para desgosto dos leitores e editores de notícias.

Um dos alertas de notícias imprecisos alegava que Rafael Nadal era gay e que um homem acusado de matar um chefe de seguros dos EUA havia se matado com um tiro. A IA da Apple também resumiu incorretamente as notificações do aplicativo BBC para afirmar que Luke Littler havia vencido o Campeonato Mundial de Dardos PDC horas antes de seu início.

Outro resumo incorreto de uma história do New York Times parece ter sido publicado em 6 de janeiro, relativa ao quarto aniversário dos distúrbios no Capitólio.

“Os recursos do Apple Intelligence estão em beta e estamos continuamente fazendo melhorias com a ajuda do feedback dos usuários”, disse a Apple em comunicado à BBC. “Uma atualização de software nas próximas semanas esclarecerá ainda mais quando o texto exibido é um resumo fornecido pela Apple Intelligence. Incentivamos os usuários a relatar uma preocupação caso visualizem um resumo de notificação inesperado”, acrescentou  .

O recurso defeituoso da Apple foi uma das ferramentas de IA lançadas para usuários de alguns iPhones mais recentes em dezembro, incluindo os aparelhos iPhone 16, 15 Pro e 15 Pro Max, bem como em alguns iPads e Macs.