"Alucinações de IA" no ChatGPT pode comprometer a segurança da cadeia de suprimentos de software

Pesquisadores descobriram que harckers podem explorar uma característica do ChatGPT, modelo de IA que frequentemente retorna informações falsas, para disseminar pacotes de código malicioso. Isso representa um risco significativo para a cadeia de suprimentos de software, já que pode permitir a inserção de códigos maliciosos e cavalos de Tróia em aplicativos legítimos e repositórios de código, como npm, PyPI e GitHub.

Os atacantes podem usar as chamadas "alucinações de pacote de IA" para criar pacotes de código malicioso recomendados pelo ChatGPT, que um desenvolvedor poderia inadvertidamente baixar ao usar o chatbot e incorporá-los ao software. Esse fenômeno é conhecido como "alucinação" na inteligência artificial, referindo-se a respostas plausíveis, mas insuficientes, tendenciosas ou simplesmente falsas da IA.

Os atacantes podem solicitar a ajuda de codificação do ChatGPT para tarefas comuns e o ChatGPT pode oferecer uma recomendação para um pacote inédito ou inexistente. Os atacantes então podem publicar sua própria versão maliciosa do pacote sugerido e aguardar que o ChatGPT forneça aos desenvolvedores legítimos a mesma recomendação.

Os desenvolvedores devem validar as bibliotecas que baixam e garantir que elas não sejam apenas cavalos de Tróia habilmente disfarçados. As recomendações da IA exigem um nível especial de cautela.

Este cenário de ataque é apenas o último de uma série de riscos de segurança que o ChatGPT pode apresentar. Na primeira metade de 2023, houve vários incidentes envolvendo o uso malicioso do ChatGPT, incluindo golpistas imitando o ChatGPT para roubar credenciais de negócios dos usuários e atacantes usando extensões maliciosas do ChatGPT para roubar cookies do Google Chrome.

Fonte: darkreading.com