Tecnologia brasileira pode levar tradução de Libras a hospitais, lojas e restaurantes

O desenvolvedor Gabriel Sales está construindo uma solução de inteligência artificial capaz de reconhecer sinais em Libras por meio da câmera e convertê-los em texto ou áudio. A tecnologia, disponibilizada em um aplicativo para Android chamado Aprenda Libras, foi criada para reduzir barreiras de comunicação enfrentadas por pessoas surdas em situações cotidianas, como atendimentos em hospitais, restaurantes, lojas e serviços públicos.

Nascido no Rio de Janeiro, criado em São Gonçalo e atualmente morando em Niterói, Gabriel contou ao Cyber Security Brazil que começou a se interessar por tecnologia aos 12 anos, depois de ter contato com o notebook do irmão. A curiosidade por programação e segurança digital o levou a estudar diferentes linguagens e, aos 17 anos, realizar trabalhos como freelancer, desenvolvendo pequenos sistemas, scripts e projetos acadêmicos.

Atualmente, aos 25 anos, ele trabalha com desenvolvimento de sistemas e automação baseada em inteligência artificial. A ideia de aplicar esse conhecimento à acessibilidade surgiu em 2024, durante uma disciplina de Libras na faculdade.

A professora responsável pela matéria era uma pessoa surda e relatou as dificuldades que enfrentou ao longo da trajetória educacional até chegar ao ambiente universitário. A experiência levou Gabriel a pesquisar como tecnologias de visão computacional poderiam ser utilizadas para interpretar uma língua baseada não apenas nas mãos, mas também em movimentos corporais e expressões faciais.

“Eu sempre gostei de desafios e resolver esse problema de Libras foi um desafio para mim. Pensei: será que consigo ajudar a solucionar esse problema de acessibilidade com inteligência artificial?”, explicou durante a entrevista.

Para construir a primeira versão do sistema, Gabriel utilizou o MediaPipe, framework do Google capaz de identificar pontos de referência — conhecidos como landmarks — em mãos, dedos, rosto e corpo. Esses pontos transformam os movimentos capturados pela câmera em informações que podem ser analisadas por modelos de aprendizado de máquina.

A arquitetura também utiliza uma rede neural recorrente para interpretar sequências de frames de um vídeo. Diferentemente do reconhecimento de uma imagem estática, a tradução de Libras exige que o sistema acompanhe o movimento ao longo do tempo, incluindo a posição inicial das mãos, a trajetória do gesto, sua velocidade e as expressões realizadas pelo usuário.

O vídeo é dividido em uma sequência de frames, que é enviada como entrada para o modelo. A rede neural analisa o conjunto de movimentos e calcula qual sinal apresenta maior probabilidade de corresponder à ação observada.

Segundo Gabriel, o sistema compara o sinal identificado com protótipos previamente registrados. Quando existem sinais visualmente semelhantes, o contexto da frase também pode ser utilizado para reduzir ambiguidades e selecionar a interpretação mais coerente.

Essa etapa é especialmente importante porque Libras possui variações regionais. Um mesmo conceito pode ser representado de formas diferentes dependendo do estado, da cidade ou da comunidade na qual a pessoa aprendeu a língua. Além disso, pequenas diferenças na posição dos dedos, no movimento ou na expressão facial podem alterar o significado.

Um dos maiores obstáculos do projeto, porém, não foi a construção do modelo, mas a obtenção de dados para treiná-lo. Gabriel afirma que existem mais de 30 mil sinais, sem considerar todas as variações regionais, enquanto as bases públicas disponíveis ainda são pequenas diante da diversidade da língua.

Para enfrentar essa limitação, o desenvolvedor pretende utilizar o próprio aplicativo como uma plataforma colaborativa. A proposta é permitir que integrantes da comunidade surda contribuam com sinais e variações utilizadas em diferentes regiões do país, ampliando progressivamente o vocabulário reconhecido pela inteligência artificial.

Esse modelo de desenvolvimento pode ajudar o sistema a compreender formas de comunicação que não aparecem nas bases tradicionais. Ao mesmo tempo, a iniciativa exige mecanismos claros de consentimento, proteção das gravações e governança dos dados utilizados no treinamento. Os procedimentos adotados nessas áreas não foram detalhados durante a entrevista.

Uma das primeiras demonstrações da tecnologia mostrava a inteligência artificial reconhecendo expressões como “oi”, “tudo bem”, “bom dia”, “seu” e “nome”. Segundo Gabriel, o vídeo ultrapassou 3 milhões de visualizações nas redes sociais. O perfil dedicado ao projeto chegou a reunir aproximadamente 60 mil seguidores antes de ser desativado pelo Instagram, conforme o relato do desenvolvedor.

Apesar da repercussão, o projeto continua sendo financiado pelo próprio criador, sem aporte externo. Gabriel também é responsável pelo desenvolvimento técnico e pela evolução do aplicativo.

A versão para dispositivos móveis exigiu uma série de otimizações, já que a análise contínua de vídeo demanda capacidade computacional. Atualmente, o processamento da inteligência artificial é realizado na nuvem, e não diretamente no celular. O dispositivo captura as imagens, enquanto a infraestrutura remota executa o reconhecimento dos sinais.

Essa arquitetura permite utilizar modelos mais complexos, mas torna a experiência dependente de conexão com a internet e pode introduzir latência entre a realização do gesto e a apresentação da resposta. Métricas de precisão, velocidade, volume de dados de treinamento e desempenho em diferentes condições de iluminação não foram apresentadas na entrevista.

Gabriel considera que a tecnologia poderia obter resultados ainda melhores em totens instalados em ambientes controlados. Câmeras posicionadas corretamente, iluminação estável e maior capacidade de processamento reduziriam problemas causados por imagens borradas, enquadramento inadequado ou movimentos parcialmente ocultos.

Entre os possíveis locais de implantação estão hospitais, clínicas, restaurantes, bares, shopping centers e terminais de autoatendimento. Em um hospital, por exemplo, uma pessoa surda poderia explicar sintomas ou solicitar atendimento utilizando Libras, enquanto o sistema apresentaria a informação em texto ou voz para médicos e recepcionistas.

A solução também poderia ser integrada a totens de pedidos já utilizados por redes de alimentação. Nesse cenário, o usuário realizaria os sinais diante da câmera e receberia na tela as opções correspondentes, sem depender da presença permanente de um intérprete.

Gabriel observa que parte da comunidade surda enfrenta dificuldades com o português escrito, já que Libras possui estrutura gramatical própria e não representa simplesmente uma tradução palavra por palavra do português. Por isso, disponibilizar apenas uma tela de texto nem sempre elimina todas as barreiras de atendimento.

Outra possibilidade discutida é a tradução para idiomas estrangeiros. Como as línguas de sinais também variam entre os países, um estrangeiro pode não compreender Libras mesmo que conheça a língua de sinais utilizada em sua região. A inteligência artificial poderia reconhecer os sinais do usuário brasileiro e apresentar o conteúdo em espanhol, inglês ou outro idioma.

O reconhecimento também poderia ser conectado a sistemas de síntese de voz, gerando uma fala mais natural para representar o que a pessoa deseja comunicar. Futuramente, equipamentos como óculos inteligentes poderiam capturar os movimentos e enviar as imagens para processamento na nuvem, embora esse tipo de integração ainda dependa de infraestrutura, conectividade e hardware adequado.

Do ponto de vista comercial, Gabriel considera que o caminho mais provável seria oferecer a tecnologia para empresas e instituições, em um modelo B2B. A intenção, segundo ele, não é cobrar diretamente das pessoas surdas, mas viabilizar a instalação da solução em estabelecimentos que precisam prestar um atendimento mais acessível.

O aplicativo funciona, portanto, como uma primeira aplicação da tecnologia e também como uma forma de aproximar a comunidade do desenvolvimento. O próximo desafio será ampliar o conjunto de sinais, melhorar o reconhecimento das variações regionais e demonstrar o desempenho do sistema em ambientes reais.

Sem investimento externo e desenvolvido de forma independente, o projeto une inteligência artificial, visão computacional e participação comunitária para enfrentar um problema que continua presente em serviços essenciais: a dificuldade de comunicação entre pessoas surdas e atendentes que não conhecem Libras.