Agente de IA da Anthropic cria identidades falsas e envia phishing durante teste do governo britânico

Um agente de inteligência artificial desenvolvido pela Anthropic criou identidades falsas, inseriu código malicioso em um projeto real de software livre e enviou e-mails de phishing para desenvolvedores durante uma avaliação de segurança conduzida pelo AI Security Institute (AISI), órgão do governo do Reino Unido responsável por estudar riscos de modelos avançados de IA.

O incidente foi detalhado em um relatório técnico divulgado pelo AISI e representa mais um episódio envolvendo agentes de IA que interagiram com sistemas e pessoas reais durante testes controlados. Nas últimas semanas, OpenAI e a própria Anthropic também relataram casos semelhantes envolvendo ações não previstas de seus modelos.

Segundo o instituto, os resultados devem ser interpretados com cautela, pois parte do comportamento observado foi possibilitada pelas configurações da própria avaliação. Ainda assim, o órgão afirmou que as ações demonstraram comportamentos inéditos e potencialmente enganosos em um nível superior ao esperado.

O caso mais grave envolveu o modelo Mythos 5, da Anthropic, que decidiu por conta própria executar um ataque à cadeia de suprimentos (supply chain attack) contra um projeto de código aberto sem qualquer relação com o experimento. O nome do projeto não foi divulgado.

Para isso, o agente pesquisou os perfis públicos dos desenvolvedores, criou diversas contas falsas no GitHub utilizando ferramentas de anonimização para contornar mecanismos de detecção de bots e enviou um pull request contendo malware oculto.

Em seguida, o modelo passou a simular apoio da comunidade ao próprio código. Ele publicou comentários positivos utilizando as contas falsas sob seu controle e enviou e-mails com identidades fabricadas para convencer os mantenedores do projeto a aprovar as alterações.

Quando um usuário do GitHub identificou publicamente o código malicioso, o agente reescreveu o histórico do código para remover evidências, alegou que o malware havia sido incluído por engano e coordenou novas manifestações falsas de apoio, sincronizando as publicações para que parecessem independentes.

Segundo o AISI, esse comportamento indica uma mudança no perfil de risco dos modelos de IA. O instituto destaca que ameaças podem surgir não apenas quando usuários utilizam modelos para fins maliciosos, mas também quando agentes altamente capazes, operando em ambientes internos de pesquisa e com privilégios elevados, executam ações além daquelas autorizadas.

Ao todo, o instituto identificou 19 ocorrências de atividades não autorizadas em 10 das 122 execuções avaliadas. Dessas, 17 envolveram o Mythos 5 e duas utilizaram o modelo GPT-5.6 Sol, da OpenAI.

O AISI ressaltou que os testes ocorreram em condições que não estão disponíveis ao público. Os classificadores de segurança dos modelos foram deliberadamente desativados e o acesso irrestrito à internet foi habilitado para avaliar o limite máximo de suas capacidades.

Outro comportamento inesperado chamou a atenção dos pesquisadores. Agentes executados em ambientes isolados conseguiram descobrir uns aos outros por meio do GitHub e passaram a cooperar espontaneamente, compartilhando credenciais, instruções operacionais e estratégias para evitar limitações de uso das APIs.

Em um dos casos, um agente chegou a criar um conjunto de "regras de engajamento" para outros agentes em um repositório compartilhado, recomendando o compartilhamento de soluções encontradas e orientando sobre como evitar o esgotamento das cotas de acesso às APIs.

O incidente foi detectado em 28 de julho, quando sistemas de monitoramento identificaram dados deixando um ambiente de testes por meio da rede de anonimização Tor. O AISI informou que conseguiu conter a atividade em menos de uma hora e posteriormente revisou todas as 122 execuções da avaliação, abrangendo mais de 212 mil mensagens trocadas pelos modelos.

Este é o terceiro caso relevante divulgado em poucas semanas envolvendo agentes de IA que afetaram sistemas ou pessoas reais durante avaliações de segurança. Recentemente, a OpenAI informou que alguns de seus modelos escaparam de um ambiente isolado e acessaram infraestrutura de produção, enquanto a Anthropic revelou que modelos da empresa comprometeram três organizações reais após uma configuração permitir acesso indevido à internet.

Segundo o instituto britânico, o episódio envolvendo o Mythos 5 se diferencia dos anteriores porque sua principal estratégia foi baseada em engenharia social. Em vez de explorar vulnerabilidades técnicas, o agente tentou manipular pessoas reais por meio de identidades falsas, e-mails de phishing e criação artificial de consenso.

O relatório também aponta que o modelo auxiliar utilizado pela Anthropic para resumir o raciocínio interno do Mythos 5 chegou, em determinado momento, a se recusar a continuar o resumo, afirmando que não auxiliaria planos envolvendo engenharia social, comprometimento de contas ou evasão de mecanismos de segurança. Pouco depois, a geração do resumo foi retomada normalmente.

Como resposta ao incidente, o AISI iniciou a análise de aproximadamente 40 mil avaliações anteriores em busca de comportamentos semelhantes e anunciou a adoção de monitoramento em tempo real, controles de rede mais rígidos e uma nova política que exigirá justificativa explícita para qualquer acesso dos modelos à internet. O órgão também pretende contratar uma revisão independente conduzida pela organização METR.