Pesquisa aponta que tecnologia de redução de custos do DeepSeek pode comprometer a precisão da IA

Uma pesquisa identificou possíveis limitações na tecnologia de otimização de memória utilizada pelos modelos de inteligência artificial da DeepSeek. O estudo indica que mecanismos desenvolvidos para reduzir o consumo de recursos computacionais podem comprometer a precisão das respostas, especialmente quando os sistemas precisam recuperar informações de documentos extensos.

Os resultados foram publicados no final de setembro em um artigo liderado por pesquisadores da ByteDance, com a participação de colaboradores vinculados à Universidade de Princeton, Universidade Stanford e Universidade da Califórnia em Berkeley.

O estudo, que ainda não passou por revisão por pares, aponta que os métodos de compressão empregados pela DeepSeek podem dificultar a recuperação de determinadas informações, dependendo de sua posição no conteúdo processado.

Segundo os autores, o fenômeno foi identificado nos modelos DeepSeek-V4, V4.1 e em todos os modelos comprimidos treinados previamente pela equipe.

Precisão pode variar até 40 pontos percentuais

Os pesquisadores avaliaram diferentes modelos da DeepSeek em tarefas de recuperação de informações presentes em contextos extensos, com aproximadamente 128 mil tokens, quantidade equivalente a dezenas de milhares de palavras.

Os testes identificaram variações de até 40 pontos percentuais na precisão de recuperação de informações da família DeepSeek-V4, dependendo da localização dos dados no conteúdo analisado.

A investigação relaciona essa inconsistência à maneira como os modelos agrupam e comprimem informações antes de armazená-las para consultas posteriores.

Embora o procedimento reduza o consumo de memória e os recursos necessários ao processamento, determinados detalhes podem se tornar mais difíceis de recuperar conforme sua posição nos segmentos comprimidos.

Em um dos experimentos, os pesquisadores adicionaram um trecho de texto irrelevante antes de um código de programação, sem alterar o código original. A simples inclusão desse conteúdo prejudicou a capacidade do DeepSeek de selecionar a resposta correta.

O resultado sugere que pequenas alterações na organização das informações fornecidas ao modelo podem influenciar diretamente seu desempenho, mesmo quando o conteúdo relevante permanece inalterado.

Resultados ainda precisam de validação

Os responsáveis pela pesquisa ressaltaram que as conclusões se baseiam em experimentos controlados e em uma quantidade limitada de exemplos relacionados à programação.

Dessa forma, os resultados não permitem determinar com que frequência essas inconsistências ocorrem em aplicações reais ou se afetam outras tarefas na mesma intensidade.

A DeepSeek e a ByteDance não responderam aos pedidos de comentário sobre as descobertas.

Eficiência computacional é vantagem competitiva da DeepSeek

A redução dos custos de treinamento e operação tem sido um dos principais diferenciais da DeepSeek, empresa chinesa sediada em Hangzhou.

Sua abordagem ajudou a companhia a conquistar reconhecimento internacional ao desenvolver modelos competitivos utilizando recursos computacionais mais econômicos, aproximando-se de concorrentes americanos como OpenAI e Anthropic.

Essa estratégia possui relevância especial para desenvolvedores chineses de inteligência artificial, que enfrentam restrições de acesso a semicondutores avançados dos Estados Unidos e precisam buscar alternativas para manter a competitividade com recursos limitados.

Entretanto, os resultados da pesquisa apontam um possível comprometimento da confiabilidade em troca de maior eficiência computacional.

A limitação pode ser particularmente relevante para aplicações que dependem da recuperação precisa de informações em documentos extensos, bases de conhecimento ou códigos de software.

O desafio para os desenvolvedores será equilibrar a redução dos custos operacionais com a consistência das respostas, sem comprometer a capacidade dos modelos de localizar e interpretar informações essenciais.