Avance tecnológico e inclusivo: crearon un anillo que traduce en texto el lenguaje de señas

Un equipo de la Universidad de Cornell desarrolló SpellRing, un anillo equipado con inteligencia artificial y tecnología de microsonar capaz de reconocer y traducir en tiempo real la ortografía dactilológica en el lenguaje de señas americano (ASL).

El dispositivo, considerado el primero de su tipo, busca cerrar la brecha entre la comunidad sorda y la tecnología de comunicación. Los resultados de la creación se publicaron en arXiv.

El proyecto fue liderado por Hyunchul Lim, estudiante de doctorado en ciencias de la información en Cornell, junto con un equipo del Laboratorio de Interfaces de Computadoras Inteligentes para Interacciones Futuras (SciFi).

Según sus creadores, el objetivo era diseñar un dispositivo portátil que reconociera con precisión los movimientos sutiles y complejos de los dedos en ASL sin las limitaciones de otros dispositivos voluminosos.

El anillo se basa en una versión anterior llamada Ring-a-Pose, que utilizaba sensores para interpretar posturas de la mano, informó Popular Science. Sin embargo, SpellRing mejora la tecnología al incorporar microsonar e inteligencia artificial, lo que permite el reconocimiento continuo del deletreo manual en tiempo real.

SpellRing es un dispositivo impreso en 3D del tamaño de una moneda de 25 centavos que se coloca en el pulgar. En su interior alberga un micrófono y un altavoz, que emiten y reciben ondas sonoras inaudibles para rastrear los movimientos de la mano y los dedos.

Además, un minigiroscopio mide el desplazamiento de la mano, generando datos que un algoritmo de aprendizaje profundo analiza para predecir las letras formadas en ASL.

La información procesada puede ser convertida en texto digital en tiempo real, lo que permitiría su integración con computadoras, celulares o sistemas de traducción automática, informó la universidad en un comunicado de su sitio web.

Para evaluar su desempeño, los investigadores probaron SpellRing con 20 usuarios de ASL, tanto expertos como principiantes. Durante los experimentos, los participantes deletrearon más de 20.000 palabras en distintas condiciones, indicó Tech Xplore.

Los resultados mostraron que el dispositivo alcanzó una precisión de entre 82% y 92%, dependiendo de la dificultad de las palabras y la fluidez del usuario. Este nivel de exactitud es comparable al de sistemas más grandes y costosos, lo que lo posiciona como una alternativa práctica y accesible.

El desarrollo de SpellRing fue bien recibido en la comunidad investigadora. Cheng Zhang, profesor adjunto en Cornell y coautor del estudio, destacó que el dispositivo fue diseñado teniendo en cuenta las necesidades de los usuarios finales.

“Siempre existe una brecha entre la comunidad técnica que desarrolla herramientas y la comunidad objetivo que las utiliza. Hemos acortado parte de esa brecha”, declaró en al sitio de la universidad.

Por su parte, Jane Lu, coautora del estudio y estudiante de doctorado en lingüística, enfatizó que el ASL es más que deletreo manual y que el desafío ahora es avanzar hacia un reconocimiento más completo del lenguaje de señas.

“El deletreo manual, aunque complejo y difícil de rastrear desde una perspectiva técnica, comprende solo una fracción del ASL y no es representativo del ASL como idioma”, aseguró.

Además, François Guimbretière, profesor de Ciencias de la Información en Cornell, subrayó el papel de la inteligencia artificial en la accesibilidad.

“El aprendizaje automático permite percibir el mundo de maneras nuevas e inesperadas, como lo demuestra este proyecto. Esto allana el camino hacia un acceso más diverso e inclusivo a los recursos computacionales”, aseveró.

El equipo de investigación ya trabaja en una evolución de SpellRing que incorpore gafas de IA capaces de rastrear los movimientos de la parte superior del cuerpo y las expresiones faciales, informó Tech Xplore.

Este avance permitiría capturar más elementos del ASL, como gestos con la cabeza y movimientos del torso, acercando el sistema a una traducción integral del lenguaje de señas.

Hyunchul Lim, quien completó cursos de ASL como parte de su investigación, explicó la importancia de estos desarrollos en el sitio de la universidad: “Las personas sordas y con dificultades auditivas usan más que sus manos para el ASL. Utilizan expresiones faciales, movimientos del torso y gestos con la cabeza”.