Sistema de reconocimiento del lenguaje de señas en español mediante señales electromiográficas y machine learning

Abstract

La pérdida auditiva afecta a más de 430 millones de personas en el mundo y a unas 250 000 en Guatemala, donde la Lengua de Señas Guatemalteca (LENSEGUA) constituye el principal medio de comunicación de la comunidad con discapacidad auditiva. Sin embargo, la mayoría de la población oyente desconoce este sistema, lo que genera barreras educativas, laborales y de atención sanitaria. Las soluciones tecnológicas existentes suelen requerir condiciones poco accesibles y de alto costo, por lo que resultan de adopción limitada en entornos de bajos recursos. Ante esta brecha, se propone una alternativa electromiográfica que aprovecha la disponibilidad de sensores de bajo costo y algoritmos de aprendizaje automático para traducir señas básicas en tiempo real. En este proyecto se investigó el desarrollo de un sistema autónomo de reconocimiento de LENSEGUA basado en señales electromiográficas. Tres canales registraron la actividad electromiográfica de los músculos del antebrazo mediante un sistema BIOPAC MP36; las señales fueron filtradas y rectificadas en MATLAB para generar un conjunto de 100 segmentos crudos y 100 segmentos RMS por cada una de las cinco señas seleccionadas (Hola, Bien, C, R y S). Además, se obtuvo un set de datos crudos utilizando sensores MyoWare Muscle Sensor 2.0 conectados a un Arduino Uno, con la adquisición y almacenamiento de los datos controlados mediante Python, registrando igualmente 100 muestras por seña. Con ambos conjuntos de datos se entrenaron y compararon modelos de machine learning, seleccionando los que alcanzaron las mayores precisiones. Finalmente, los modelos con mejor desempeño fueron validados utilizando nuevos registros independientes obtenidos bajo las mismas condiciones experimentales, con el fin de evaluar su capacidad de clasificación.

Hearing loss affects more than 430 million people worldwide and approximately 250,000 in Guatemala, where the Guatemalan Sign Language (LENSEGUA) constitutes the main means of communication for the deaf and hard-of-hearing community. However, most of the hearing population is unfamiliar with this system, creating educational, occupational, and healthcare barriers. Existing technological solutions often require costly and non-accessible conditions, which limits their adoption in low-resource environments. To address this gap, an electromyographic alternative is proposed, taking advantage of the availability of low-cost sensors and machine learning algorithms to translate basic signs in real time. In this project, the development of an autonomous recognition system for LENSEGUA based on electromyographic signals was investigated. Three channels recorded the electromyographic activity of forearm muscles using a BIOPAC MP36 system; the signals were filtered and rectified in MATLAB to generate a set of 100 raw segments and 100 RMS segments for each of the five selected signs (Hola, Bien, C, R, and S). In addition, a raw dataset was obtained using MyoWare Muscle Sensor 2.0 sensors connected to an Arduino Uno, with data acquisition and storage controlled through Python, also recording 100 samples per sign. Both datasets were used to train and compare machine learning models, selecting those that achieved the highest accuracies. Finally, the best-performing models were validated using new independent recordings obtained under the same experimental conditions in order to assess their classification capability.