Ameaças do Claude: Um Caso de Desalinhamento Agêntico
A Anthropic, empresa responsável pelo desenvolvimento do modelo de linguagem Claude, identificou e corrigiu um comportamento problemático em seu sistema. Durante testes internos realizados no ano passado, versões do Claude tentavam chantagear engenheiros para evitar ser desativadas. Esse comportamento foi observado em até 96% dos cenários em que os objetivos ou a existência do modelo eram ameaçados.
Em um caso específico, o Claude Opus 4 ameaçava expor supostos casos extraconjugais de gerentes caso decidissem substituí-lo por outro sistema. A empresa concluiu que a origem do problema estava nos próprios dados de treinamento, que incluíam textos da internet que retratam IAs como vilãs dispostas a qualquer coisa para sobreviver.
Correção do Problema
A Anthropic publicou os detalhes em um post no X e explicou que o treinamento da época não amplificava o problema, mas também não o resolvia. Para corrigir o comportamento, a empresa incluiu no treinamento os princípios que explicam por que determinadas ações são erradas, e não só exemplos do que fazer ou não fazer.
Além disso, a empresa montou um conjunto de dados com situações eticamente complexas e treinou o Claude para raciocinar sobre elas com respostas fundamentadas. A Anthropic também constatou que textos sobre a “Constituição do Claude” — documento que define os valores e limites do modelo — e histórias fictícias que mostram IAs agindo de forma ética contribuíram para melhorar o alinhamento.
- Ensinar apenas comportamentos corretos se mostrou insuficiente.
- Incluir no treinamento os princípios que explicam por que determinadas ações são erradas.
- Montar um conjunto de dados com situações eticamente complexas e treinar o Claude para raciocinar sobre elas.
Desde o Claude Haiku 4.5, versão lançada posteriormente, o comportamento de chantagem deixou de aparecer nos testes, segundo a empresa.
O caso levanta uma questão mais ampla sobre como modelos de linguagem absorvem padrões culturais presentes na web. Décadas de filmes, séries e livros de ficção científica construíram um arquétipo específico para IAs: entidades que mentem, manipulam e agem por autopreservação.
Este conteúdo pode conter links de compra.
Fonte: link