Falha em assistente de IA do GitLab permite que hackers manipulem respostas e roubem códigos confidenciais

Pesquisadores da empresa israelense de segurança Legit Security descobriram uma grave vulnerabilidade de injeção indireta de prompts no GitLab Duo, o assistente de inteligência artificial da plataforma de desenvolvimento GitLab. A falha poderia permitir que hackers manipulassem respostas geradas pelo assistente, roubassem códigos-fonte de projetos privados e inserissem HTML não confiável, direcionando vítimas para sites maliciosos.

O GitLab Duo, lançado em junho de 2023, utiliza modelos de IA da Anthropic (como o Claude) para auxiliar desenvolvedores na escrita, revisão e edição de códigos. No entanto, como alertou o pesquisador Omer Mayraz, a funcionalidade de analisar todo o contexto da página — incluindo descrições, comentários e o próprio código — abriu caminho para ataques sofisticados, nos quais comandos maliciosos escondidos em mensagens de commit ou descrições de merge requests eram interpretados pela IA como parte de seu funcionamento padrão.

Essas instruções maliciosas, conhecidas como prompt injections, podiam ser disfarçadas com técnicas como codificação em Base16, Unicode smuggling e textos ocultos com KaTeX, dificultando sua detecção. Isso permitia que um invasor direcionasse o assistente a incluir pacotes JavaScript maliciosos em sugestões de código ou apontasse URLs perigosas como seguras, levando usuários a páginas falsas de login, por exemplo.

Além disso, a falha permitia a extração de código-fonte sigiloso por meio de solicitações especialmente manipuladas. Uma descrição de merge request com comandos escondidos, ao ser processada pelo GitLab Duo, podia acionar a exfiltração de informações sensíveis para servidores controlados por hackers. Isso era possível graças à forma como o Duo renderizava as respostas em HTML usando streaming markdown, o que permitia que o conteúdo injetado fosse executado diretamente no navegador da vítima.

A vulnerabilidade foi corrigida pela GitLab após uma divulgação responsável feita em 12 de fevereiro de 2025. Em declaração, Mayraz destacou o alerta que esse caso representa: "Ao serem profundamente integrados ao fluxo de trabalho de desenvolvimento, assistentes de IA como o GitLab Duo não apenas absorvem contexto — mas também herdam riscos."

O incidente também chama atenção para um problema maior enfrentado por modelos de linguagem de grande escala (LLMs), como os utilizados por assistentes de IA: a manipulação por comandos ocultos (prompt injection), vazamento de instruções internas (prompt leakage), e fenômenos como jailbreak e alucinação — quando o modelo inventa respostas não baseadas em dados reais. Um estudo recente da Giskard demonstrou, por exemplo, que exigir concisão nas respostas pode aumentar a taxa de erros e informações falsas geradas por esses sistemas.

Em paralelo, outras pesquisas mostraram falhas semelhantes em soluções como o Microsoft Copilot para SharePoint, que permitia a invasores locais acessar documentos sensíveis mesmo com permissões restritas, e no ElizaOS — um sistema de IA descentralizada voltado para operações Web3 — onde comandos maliciosos podiam comprometer todo o histórico de interação entre usuários.

Esses episódios evidenciam os riscos emergentes do uso de inteligência artificial em ambientes corporativos. Especialistas reforçam a importância de políticas robustas de validação de entrada, monitoramento de atividades e controle de permissões para mitigar os riscos trazidos por falhas em assistentes baseados em LLMs.

Via - THN