Uma pesquisa revelou que os agentes de IA não conseguem concluir 97% das tarefas no Upwork, nem mesmo com um padrão básico.

A Scale AI e o Center of AI Research descobriram que os agentes de IA não conseguem concluir 97% das tarefas no Upwork nem mesmo com um padrão básico. O estudo utilizou seis modelos de IA diferentes para lidar com 240 projetos do Upwork em diversas categorias, incluindo redação, design e análise de dados, e comparou seus resultados com os de freelancers reais.

A pesquisa revelou que o melhor modelo de IA, Manus, conseguiu concluir apenas 2,5% das tarefas com sucesso e ganhou cerca de US$ 1.810 dos US$ 143.991 oferecidos. Outros modelos de IA, como Claude Sonnet e Grok 4, concluíram 2,1% das tarefas.

Pesquisadores acreditam que a IA não substituirá empregos tão cedo.

Os pesquisadores descobriram que os agentes de IA têm dificuldades com fluxos de trabalho de várias etapas, em tomar iniciativa ou em usar o bom senso. Eles também concordaram que a IA não substituirá empregos tão cedo.

Segundo uma pesquisa da União Europeia de Radiodifusão e da BBC, os modelos de IA, incluindo ChatGPT, Copilot e Perplexity, não são eficazes na divulgação de notícias. A pesquisa constatou que os modelos de IA não atendem a critérios essenciais, como fontes, precisão, geração de texto e distinção entre opinião e fato.

Os modelos de IA apresentaram pelo menos um problema significativo em 45% das respostas, enquanto apenas 31% das respostas da IA foram consideradas corretas. 20% das respostas da IA estavam incorretas e continham informações desatualizadas e detalhes distorcidos. De todos os modelos, o Gemini registrou 76% de problemas significativos em suas respostas.

A Freelance.com divulgou uma pesquisa que constatou que cartas de apresentação geradas por IA têm prejudicado os esforços de recrutamento, resultando na contratação de menos pessoas ou até mesmo de candidatos inadequados. A empresa também revelou que profissionais qualificados no quintil superior em termos de habilidades estão sendo contratados 19% menos do que antes, enquanto aqueles no quintil inferior estão sendo contratados 14% mais.

O estudo corrobora um relatório de pesquisa do MIT de agosto, que concluiu que 95% das organizações não obtiveram nenhum retorno de seu investimento coletivo de US$ 30 bilhões em IA. De acordo com o WorldTest, do MIT e da Basis Research, os agentes de IA conseguem identificar padrões e prever palavras, mas têm dificuldades para construir modelos internos do mundo.

O estudo envolveu 129 tarefas em 43 mundos interativos, que exigiam que as IAs previssem aspectos ocultos do mundo, planejassem sequências de ações para atingir um objetivo e determinassem quando as regras do ambiente mudavam. Os pesquisadores também testaram 517 humanos nas mesmas tarefas e descobriram que os humanos alcançam pontuações quase ideais, enquanto os modelos de IA frequentemente falham. 

Os pesquisadores argumentaram que os humanos têm um desempenho melhor em tarefas porque compreendem intuitivamente seus ambientes, ajustam suas perspectivas, realizam experimentos, começam do zero e exploram estrategicamente. De acordo com o estudo, adicionar mais poder computacional aos modelos existentes também não funciona; isso só ajuda em 25 dos 43 ambientes.

O czar das criptomoedas e da IA alerta para a censura impulsionada por IA nas redes sociais. 

Pesquisadores do MIT Sloan e da Safe Security descobriram que a IA impulsiona 80% dos ataques de ransomware. De acordo com um estudo de 2.800 ataques de ransomware realizado pela Cybersecurity Arms Race, constatou-se que a IA adversária automatiza sequências de ataque inteiras, incluindo a criação de malware, campanhas de phishing e chamadas telefônicas deepfake para fins de engenharia social.

O pesquisador Kevin Beaumont discorda da pesquisa, afirmando que a IA generativa não é uma parte importante de nenhuma delas. O pesquisador Marcus Hutchins também considerou o artigo absurdo, acrescentando que caiu na gargalhada.

“O artigo é praticamente um completo disparate; é de um mau gosto inacreditável. É tão ruim que é difícil saber por onde começar.”

– Kevin Beaumont , pesquisador de segurança no Medium.

David Sacks, o czar das criptomoedas e da IA, também afirmou estar preocupado com o fato de a censura nas redes sociais e nos mecanismos de busca, vista nos últimos anos, se tornar completamente distópica com o advento da IA generativa. Ele argumentou que o termo "IA woke" é insuficiente para explicar o que está acontecendo, pois de alguma forma banaliza a questão. Ele citou a IA orwelliana, que, segundo ele, distorce as respostas, mente e reescreve a história em tempo real para servir à agenda política atual daqueles que estão no poder.