Quais as melhores IAs para criar apps no Android? Google responde
O Google lançou o Android Bench, um ranking oficial que avalia o desempenho de modelos de linguagem de grande escala (LLMs) em tarefas de desenvolvimento de aplicativos para a plataforma Android.
Na primeira edição da lista, a inteligência artificial (IA) do Google, o Gemini 3.1 Pro Preview, alcançou a primeira colocação com 72,4% de taxa de sucesso na resolução dos testes. Em seguida, o Claude Opus 4.6, da Anthropic, registrou 66,6% de aprovação, e o GPT-5.2-Codex completou o pódio com 62,5%.
- Claude Opus 4.5 (61,9%)
- Gemini 3 Pro Preview (60,4%)
Os resultados indicam uma variação ampla de capacidade entre as ferramentas avaliadas, com taxas gerais de conclusão de tarefas que oscilaram entre 16% e 72%.
Como funciona o Android Bench
A avaliação utiliza problemas reais extraídos de repositórios públicos do GitHub, com diferentes níveis de dificuldade. Os testes exigem que a IA resolva desafios práticos de programação, como a migração para versões recentes do Jetpack Compose, a adaptação a quebras de compatibilidade em novas atualizações do sistema operacional e a configuração de redes em dispositivos vestíveis (wearables).
A verificação das correções de código geradas pelas IAs ocorre por meio de testes automatizados de unidade e de instrumentação. Essa abordagem avalia a capacidade técnica de cada ferramenta de navegar por bases de código complexas e compreender dependências.
O Google disponibilizou a metodologia, o conjunto de dados e o ambiente de testes de forma pública no GitHub. O objetivo da ferramenta é estabelecer uma linha de base para que os criadores de LLMs identifiquem falhas operacionais e aprimorem seus sistemas voltados à programação.
Este conteúdo pode conter links de compra.
Fonte: link