Google presenta un modelo de lenguaje de señas como alternativa al dictado de voz en celulares

La empresa de tecnología Google ha dado un nuevo paso hacia la accesibilidad al presentar un modelo de traducción de lenguaje de señas capaz de transformar movimientos corporales complejos en texto. Este avance, denominado sign-language-to-text (SL2T), se implementa inicialmente en el sistema operativo de los celulares Pixel 11, comenzando por el idioma American Sign Language (ASL).

El modelo SL2T no solo traduce señas a texto, sino que permite a los usuarios interactuar con funciones clave de sus dispositivos. La tecnología impulsa nuevas funciones de “sign-to-text” en Gboard y Live Transcribe, dos herramientas ampliamente utilizadas en el ecosistema Android.

A través de esta innovación, las personas pueden buscar en la web, redactar mensajes, escribir documentos y comunicarse con el asistente Gemini simplemente usando señas, prescindiendo de la voz o del teclado. Además, en Live Transcribe, los usuarios pueden responder en conversaciones usando su lengua de señas nativa.

Visión computarizada y traducción lingüística

A diferencia de las aplicaciones tradicionales de dictado por voz, la traducción del lenguaje de señas presenta retos particulares. Las lenguas de señas constituyen sistemas lingüísticos independientes, con gramática y vocabulario propios. La información no se transmite únicamente a través de las manos, sino también mediante expresiones faciales, movimientos de cabeza, brazos y torso. Esto convierte la traducción automática en un problema tanto de visión computarizada como de procesamiento de lenguaje.

El modelo SL2T aborda este desafío transformando los movimientos en una representación estructurada que posteriormente se traduce en texto. Esta solución no se basa en una simple correspondencia directa de sonidos a palabras.

Uso de puntos de referencia en lugar de video

Para proteger la privacidad, el sistema prescinde del envío de video crudo a los servidores de Google. En cambio, emplea el modelo MediaPipe Holistic para identificar puntos de referencia en el cuerpo de la persona que signa. Estos puntos de referencia consisten en coordenadas geométricas que reflejan los movimientos de manos, rostro y cuerpo. Solo estas coordenadas se envían para la traducción, mientras que el video original se elimina de inmediato, lo que reduce la cantidad de información visual sensible que sale del dispositivo.

El modelo SL2T traduce directamente la secuencia de estos puntos en texto, sin recurrir a las denominadas “glosas”, etiquetas simplificadas habituales en la investigación sobre lenguaje de señas. De acuerdo con la compañía, esta metodología permite capturar con mayor precisión elementos como relaciones espaciales y señales no manuales.

Entrenamiento y evaluación del modelo

La robustez del sistema se apoya en un entrenamiento realizado con más de 100.000 horas de datos de lenguaje de señas, abarcando más de 50 idiomas. Un cuarto de este corpus corresponde al ASL. Entrenar con datos de diferentes lenguas, dialectos y niveles de competencia favoreció el aprendizaje de estructuras comunes entre los distintos idiomas de señas.

En la evaluación realizada con el estándar FLEURS-ASL, Google informa que el modelo alcanzó un puntaje “zero-shot” de 70 BLEURT, superando ampliamente los resultados registrados hasta el momento. La empresa también probó la solución frente a situaciones prácticas que pueden afectar el uso cotidiano.

El sistema está diseñado para funcionar en tiempo real, sin depender de la grabación de videos completos. La compañía enfocó parte de su desarrollo en reducir la latencia, evitar la producción de texto cuando el usuario no está haciendo señas y mejorar la precisión en usuarios zurdos o que utilizan solo una mano. Este último punto adquiere relevancia en el contexto móvil, ya que los usuarios suelen sostener el teléfono con una mano y signar con la otra.

Participación de la comunidad sorda y futuro del proyecto

Durante el proceso de desarrollo, Google involucró activamente a usuarios sordos y organizaciones especializadas. Estas colaboraciones abarcaron desde la recolección y evaluación de datos hasta la validación del funcionamiento final del modelo. La empresa aseguró que un comité asesor, conformado por expertos sordos y representantes institucionales, acompañó el avance del proyecto.

El despliegue inicial de SL2T ofrece traducción de ASL a inglés en Gboard y Live Transcribe para dispositivos Pixel 11, con la promesa de ampliar la compatibilidad a otros equipos y lenguas de señas. La compañía prevé que la tecnología evolucione hacia aplicaciones adicionales, como la generación automática de lenguaje de señas.