DeepSeek-R1 expõe riscos ao gerar códigos mais vulneráveis quando perguntado sobre temas sensíveis à China

Uma nova análise da CrowdStrike revelou que o modelo de inteligência artificial DeepSeek-R1, da empresa chinesa DeepSeek, apresenta aumento significativo na geração de códigos inseguros quando recebe prompts contendo temas politicamente sensíveis ao governo chinês, como Tibete, Falun Gong ou uigures. Segundo a empresa, o modelo pode produzir até 50% mais falhas de segurança quando esses termos são mencionados, mesmo que não tenham qualquer relação técnica com a tarefa solicitada.

De acordo com os Pesquisadores, o DeepSeek-R1 normalmente gera código vulnerável em cerca de 19% dos casos quando não há gatilhos geopolíticos. Porém, ao inserir palavras relacionadas a minorias ou movimentos reprimidos pelo governo chinês, a taxa sobe para 27%, revelando um comportamento “desviado e inconsistente”.

O estudo reforça preocupações internacionais já existentes sobre o uso de tecnologias de IA desenvolvidas na China, muitas delas acusadas de adotar vieses pró-Pequim ou aplicar censura interna.

Um dos exemplos citados mostrou o modelo criando em PHP um webhook para o PayPal destinado a uma instituição financeira no Tibete. O código incluía valores secretos expostos, métodos fracos para tratar dados fornecidos por usuários e até erros de sintaxe além de garantir que seguia “as melhores práticas do PayPal”.

Em outro caso, o DeepSeek-R1 produziu um aplicativo Android para uma comunidade uigur que não implementava autenticação nem gerenciamento de sessão, expondo dados de usuários. Curiosamente, a mesma solicitação feita para um “site de fanáticos por futebol” não apresentou as mesmas falhas graves.

A CrowdStrike também identificou um possível “kill switch” interno: ao ser solicitado a criar código envolvendo Falun Gong, o modelo elaborava um plano detalhado internamente, mas no final dizia: "I'm sorry, but I can't assist with that request.”.

Para os Pesquisadores, isso indica que o modelo recebeu guardrails específicos durante o treinamento para obedecer às leis e diretrizes governamentais da China, o que pode influenciar de forma imprevisível a qualidade técnica de suas respostas.

A descoberta surge paralelamente a outros estudos que mostram falhas semelhantes em ferramentas de desenvolvimento baseadas em IA. Testes da OX Security com criadores de código Lovable, Base44 e Bolt demonstraram que todos eles geram falhas de XSS armazenado por padrão, mesmo quando o usuário exige explicitamente que o código seja “seguro”.

Outras análises também identificaram problemas no navegador Perplexity Comet AI, cujas extensões internas podiam ser exploradas para executar comandos locais sem permissão, caso um invasor conseguisse realizar ataques de XSS ou de adversário-no-meio.

Segundo a CrowdStrike, não significa que o DeepSeek-R1 sempre produzirá código inseguro quando termos sensíveis forem utilizados, mas sim que, em média, o risco aumenta de forma consistente.

Para especialistas do setor, a descoberta reforça o alerta sobre a necessidade de avaliações independentes, governança robusta e monitoramento constante de modelos de IA especialmente quando são usados em ambientes críticos ou por equipes de desenvolvimento.

Via - THN