Enseñas: Una Herramienta para Mejorar la Comunicación

Una plataforma digital que facilita la comunicación entre personas sordas y oyentes

Enseñas es una iniciativa que busca la inclusión a través de una herramienta digital basada en un modelo de aprendizaje automático (LSM Model) con el propósito de crear una nueva forma de comunicación que facilite la interacción entre personas con discapacidad auditiva y personas oyentes en tiempo real. Este modelo será capaz de traducir palabras de la Lengua de Señas Mexicana al español escrito y viceversa en tiempo real.

La tecnología y las herramientas actuales nos han permitido generar este modelo de aprendizaje automático que realiza una lectura en tiempo real de la Lengua de Señas Mexicana, solucionando la brecha de comunicación entre personas con discapacidad auditiva y personas sin esta discapacidad, evitando que las personas tengan que aprender la Lengua de Señas Mexicana.

El primer paso para crear este proyecto fue la creación de un conjunto de datos que consiste en una colección de 400 videos de las palabras más utilizadas en la Lengua de Señas Mexicana. Estos videos fueron categorizados y etiquetados individualmente.

A continuación, se realizó el proceso de predicción de poses, en el cual el modelo analiza el contenido del conjunto de datos analizando cuadro por cuadro mediante la estimación de poses de ML pipe pose Estimation. Al final de esta estimación, nuestro modelo de aprendizaje supervisado es capaz de detectar patrones en las poses sin necesidad de intervención humana para identificar a qué palabras, letras, números y frases pertenecen. También se realizó una selección manual de cuadros para lograr una predicción más precisa de las señales.

Con el fin de abrir este proyecto al público, se creó una plataforma digital en la que es posible descargar de forma gratuita nuestra investigación, el modelo de reconocimiento LSM, el conjunto de datos generado para que otros desarrolladores, empresas de tecnología e instituciones educativas puedan aprovechar nuestro proyecto y crear más herramientas de inclusión para la comunidad no oyente.

Enseñas ha sido galardonado con el premio Iron en los A' Design Awards 2023. Este premio se otorga a creaciones bien diseñadas, prácticas e innovadoras que cumplen con los requisitos profesionales e industriales. Respetadas por integrar las mejores prácticas de la industria y características técnicas competentes, brindan satisfacción y sentimientos positivos, contribuyendo a un mundo mejor.