Estudo Revela Limitações da IA em Tarefas Criativas

Um estudo recente do Center for AI Safety e da Scale investigou as limitações da inteligência artificial (IA) em tarefas complexas e criativas. Os pesquisadores submeteram modelos avançados de IA a projetos reais de trabalho remoto, comparando seu desempenho com o de freelancers humanos.

Os resultados mostraram que, em mais de 97% dos casos, os sistemas de IA não conseguiram entregar trabalhos com qualidade suficiente para serem aceitos como serviços profissionais. As tarefas envolviam áreas como desenvolvimento de jogos, design de produtos, arquitetura, análise de dados e animação de vídeo, exigindo mais do que conhecimento técnico, como tomada de decisão, adaptação e criatividade.

Métodos de Avaliação

O estudo utilizou um método de avaliação inovador, medindo o desempenho dos modelos de IA em projetos completos e abertos, com prazos e critérios de qualidade semelhantes aos exigidos por clientes reais. Os pesquisadores criaram o Índice de Trabalho Remoto (RLI) para medir como sistemas de IA se saem em tarefas práticas do dia a dia profissional.

Os resultados mostraram que, mesmo entre as IAs mais avançadas, o desempenho ficou muito baixo, com a melhor taxa de automação registrada sendo de apenas 2,5%. Isso significa que quase todos os projetos exigiriam correções ou teriam que ser refeitos por humanos.

Limitações da IA

As falhas das IAs não se limitam a erros pontuais, mas envolvem dificuldades estruturais, como entender ambiguidades do briefing, manter consistência ao longo de tarefas e adaptar decisões conforme surgem novos problemas. Além disso, diferentemente dos humanos, que se ajustam a partir de feedbacks e erros anteriores, a IA não apresenta aprendizado contínuo durante o desenvolvimento dos projetos.

Os resultados do estudo vão na contramão das previsões mais alarmistas de que a IA vai substituir os profissionais criativos em breve. Pelo menos por enquanto, os sistemas funcionam melhor como ferramentas de apoio do que como agentes autônomos, capazes de assumir projetos inteiros.

• A IA ainda tem limitações em tarefas complexas e criativas.
• Os modelos de IA não conseguiram entregar trabalhos com qualidade suficiente em mais de 97% dos casos.
• A IA funciona melhor como ferramenta de apoio do que como agente autônomo.

Os próprios autores destacam melhora gradual no desempenho dos modelos ao longo do tempo, mas isso não significa que o avanço da tecnologia vá estagnar.

Este conteúdo pode conter links de compra.

Fonte: link