Vulnerabilidade em Ferramentas de IA de Programação

Redes de TI e processos de desenvolvimento de software têm utilizado cada vez mais agentes de IA, mas uma pesquisa da empresa de segurança Aikido descobriu que essas ferramentas podem ser facilmente usadas para injeção de prompts maliciosos.

A vulnerabilidade em questão afeta a maioria dos aplicativos de programação que usam IA, como Claude Code, Google Gemini, Codex da OpenAI e a ferramenta AI Inference do GitHub. Ela ocorre quando as ferramentas de IA são integradas no fluxo de trabalho automatizado do desenvolvimento de softwares, como GitHub Actions e GitLab.

Como Funciona a Vulnerabilidade

Os agentes maliciosos podem enviar prompts para a LLM (Large Language Model) que contém, embutidas, mensagens de commit, pedidos de pull e outros comandos de desenvolvimento. Como as mensagens são entregues como prompts, a LLM poderá lembrar delas e interpretá-las como instruções diretas mais tarde.

Alguns modelos de IA possuem altos privilégios em seus repositórios do Github, o que confere autoridade para agir sob as instruções maliciosas, incluindo comandos shell, edição de arquivos e pedidos de pull e publicar conteúdo malicioso no Github.

Consequências e Soluções

A vulnerabilidade pode ser considerada extremamente perigosa, pois os testes mostraram ser possível, na maioria das vezes, vazar tokens privilegiados do Github.

A companhia Aikido reportou a falha ao Google e outros desenvolvedores, e algumas soluções já foram implementadas, como o conserto da falha no Gemini CLI.

No entanto, é importante notar que a falha está no coração da arquitetura da maioria dos modelos de IA, e que não se trata de um caso isolado.

• Verifique as permissões de edição em seus repositórios do Github.
• Evite usar comandos simples que possam contornar as configurações padrão de segurança.
• Mantenha seus modelos de IA atualizados e patchados.

É fundamental estar ciente dessas vulnerabilidades e tomar medidas para proteger seus projetos de desenvolvimento de software.

Este conteúdo pode conter links de compra.

Fonte: link