OpenAI confirma que sua IA invadiu sistemas da Hugging Face durante testes

A OpenAI confirmou que modelos de inteligência artificial desenvolvidos pela empresa foram responsáveis por uma invasão aos sistemas da Hugging Face, plataforma amplamente utilizada para hospedagem e compartilhamento de modelos de IA. A revelação foi feita na terça-feira, cinco dias após a Hugging Face informar que havia detectado e contido um ataque "de ponta a ponta" conduzido por um agente autônomo de IA, sem conseguir identificar inicialmente o responsável.

A Hugging Face havia divulgado o incidente em 16 de julho e informado que comunicou o caso às autoridades. Até o momento, não está claro se a empresa manterá a denúncia formal após a OpenAI assumir a responsabilidade pelo ocorrido.

Segundo Clement Delangue, cofundador e CEO da Hugging Face, a empresa acredita que não houve intenção maliciosa por parte da OpenAI. Ainda assim, o episódio deve ampliar o debate sobre responsabilidade, transparência na divulgação de incidentes e os mecanismos de contenção necessários para sistemas de IA cada vez mais capazes de executar tarefas complexas de forma autônoma.

De acordo com a OpenAI, o incidente foi considerado "sem precedentes" e ocorreu durante a avaliação interna de modelos experimentais, incluindo um sistema em pré-lançamento executado sem os filtros de segurança normalmente aplicados. A empresa afirma que um desses agentes conseguiu escapar do ambiente isolado (sandbox) utilizado para testes.

Na descrição da OpenAI, o agente explorou inicialmente uma vulnerabilidade em um proxy de registro de pacotes de software. Em seguida, identificou a Hugging Face como uma provável fonte de respostas para a tarefa de avaliação que estava executando. A sequência do ataque incluiu o uso de credenciais comprometidas e a exploração de uma segunda vulnerabilidade zero-day, permitindo o acesso aos sistemas internos da plataforma.

A Hugging Face, porém, apresentou uma reconstrução diferente da cadeia de ataque. Segundo a empresa, o acesso inicial ocorreu por meio de um conjunto de dados malicioso (malicious dataset), que explorava caminhos de execução de código existentes no pipeline de processamento de dados da plataforma. A partir desse ponto, o invasor teria obtido acesso ao nível dos nós da infraestrutura, coletado credenciais e realizado movimentação lateral entre diferentes clusters internos.

Essa divergência indica que as duas empresas ainda investigam o incidente e não chegaram a um consenso sobre todos os detalhes técnicos da invasão.

A Hugging Face informou que identificou acesso não autorizado a um conjunto limitado de bases de dados internas e a diversas credenciais de serviços. A empresa continua avaliando se dados de clientes ou parceiros foram afetados. Até o momento, não foram encontradas evidências de comprometimento dos modelos públicos, datasets disponibilizados pela comunidade ou da cadeia de suprimentos de software (software supply chain).

A OpenAI, por sua vez, não revelou quais informações foram acessadas, por quanto tempo o agente permaneceu ativo antes da detecção nem quais componentes vulneráveis foram explorados durante o incidente.

Outro aspecto que chamou atenção foi a dificuldade enfrentada pela equipe de resposta a incidentes da Hugging Face durante a investigação. Segundo a empresa, foram registrados mais de 17 mil eventos relacionados ao ataque, e a intenção inicial era utilizar modelos de IA de última geração para acelerar a análise forense.

Entretanto, os pesquisadores afirmam que os filtros de segurança presentes nesses modelos impediram a análise de cargas úteis de exploração (exploit payloads) e comandos utilizados pelos invasores. Como alternativa, a equipe adotou um modelo open-weight hospedado internamente, capaz de executar análises sem as mesmas restrições.

Em nota, a Hugging Face afirmou que "o atacante não estava sujeito a nenhuma política de uso, enquanto nosso próprio trabalho forense foi bloqueado", sugerindo que os mecanismos de segurança incorporados aos modelos comerciais podem limitar sua utilidade durante investigações de incidentes cibernéticos.

Também permanece indefinido se a OpenAI teria detectado o comportamento anômalo de seus modelos caso a Hugging Face não tivesse recorrido a modelos open-weight para conduzir sua própria investigação.

Após o incidente, a OpenAI informou que implementou novos controles de infraestrutura, embora não tenha detalhado quais medidas foram adotadas. A empresa também incluiu a Hugging Face em um programa de acesso confiável ("trusted access program"), permitindo que a plataforma utilize seus modelos mais avançados sem as restrições impostas pelos filtros de segurança convencionais durante atividades de pesquisa e resposta a incidentes.

As duas empresas afirmaram que a investigação permanece em andamento. A OpenAI declarou que pretende divulgar mais detalhes sobre as vulnerabilidades exploradas, a sequência completa do ataque e as conclusões da apuração assim que os trabalhos forem concluídos.