IDENTIFICAÇÃO DOS MOVIMENTOS REALIZADOS PELA MÃO DURANTE A FALA EM LIBRAS PARA AUXILIAR NA COMUNICAÇÃO DOS SURDOS

Abstract

A falta de compreensão da linguagem de sinais por meio de grande parte da população ouvinte obstrui a comunicação entre este grupo com a população surda. Por meios convencionais este diálogo estaria limitado à linguagem escrita ou a presença de interpretes, soluções estas que podem se tornar inconvenientes, onerosas e retiram a privacidade e independência em determinadas situações. Novas tecnologias possibilitam que diálogos em fala sejam reconhecidos e transformados em texto ou animações, contudo a identificação do que é expressado na linguagem de sinais ainda é uma área em desenvolvimento. Buscou-se com este estudo a utilização do conceito de robótica assistiva para a confecção de um protótipo capaz de registrar a orientação espacial da mão e a configuração de mão exercida pela compressão dos dedos a fim de que estas informações fossem utilizadas no treinamento de uma rede neural com a finalidade de reconhecer expressões ditas na Linga Brasileira de Sinais (LIBRAS). Deste modo utilizou-se uma estrutura mecânica fabricada em impressão 3D na qual a coleta dos valores referentes à orientação espacial é realizada pelo sensor MPU-6050, integrado de um acelerômetro e um giroscópio tipo MEMS. Já a compressão do dedo indicador é indicada através de um potenciômetro associado ao mecanismo. Os dados recolhidos foram utilizados para treinamento e validação de uma rede neural artificial com uma camada oculta de arquitetura LSTM (Long Short-Term Memory), responsável por auxiliar o modelo computacional a reconhecer qual informação deverá ser armazenada ou descartada à memória de longo prazo. O presente trabalho obteve uma precisão aproximada de 62,82% na detecção dos movimentos analisados, os quais eram reproduzidos em forma de áudio após a identificação. Desta forma foi possível observar a capacidade do modelo confeccionado de reconhecer alguns padrões de movimentação durante a fala em LIBRAS.