A OpenAI Reforça Segurança de Agentes de IA com Aquisição da Promptfoo

A OpenAI anunciou recentemente a aquisição da startup Promptfoo, especializada em segurança de inteligência artificial (IA). O valor da transação não foi divulgado, mas a empresa levantou US$ 23 milhões desde sua fundação e foi avaliada em US$ 86 milhões após sua última rodada de investimentos.

A tecnologia da Promptfoo será integrada ao OpenAI Frontier, plataforma da empresa voltada para a construção e operação de agentes de IA corporativos. A ferramenta tem como objetivo ajudar empresas a identificar e corrigir vulnerabilidades em modelos de linguagem de grande escala (LLMs) durante o processo de desenvolvimento.

A popularização de agentes autônomos trouxe benefícios, mas também novas oportunidades para cibercriminosos acessarem dados sensíveis e manipularem sistemas automatizados. A aquisição da Promptfoo demonstra o esforço da OpenAI em provar que a tecnologia pode ser usada com segurança em operações críticas.

A plataforma da OpenAI incorporará testes de segurança automatizados e recursos de simulação de invasão (red-teaming) para identificar riscos diretos, como injeções de prompt, jailbreaks, vazamentos de dados e uso indevido de ferramentas por parte da IA. As ferramentas de segurança e avaliação também farão parte dos fluxos de trabalho dos desenvolvedores, permitindo recursos de rastreabilidade para adequação a regras de conformidade e governança.

• A aquisição da Promptfoo é parte de uma estratégia de expansão da OpenAI para reforçar o ecossistema de agentes de IA e atrair grandes nomes do setor.
• A empresa contratou recentemente Peter Steinberger, desenvolvedor responsável pela criação do OpenClaw, um assistente de código aberto que executou tarefas complexas localmente nos computadores dos usuários.
• A OpenAI confirmou que continuará o desenvolvimento do projeto de código aberto da empresa, demonstrando seu compromisso com a comunidade de desenvolvedores e a segurança.

A aquisição da Promptfoo é um passo importante para a OpenAI em sua missão de tornar a IA mais segura e confiável para uso em operações críticas. Com a integração da tecnologia da Promptfoo, a empresa está bem posicionada para atrair grandes nomes do setor e reforçar seu ecossistema de agentes de IA.

Este conteúdo pode conter links de compra.

Fonte: link