La aplicación fue creada por un equipo de investigadores de la Universidad de Alicante. Esta herramienta que interpreta la lengua de signos, contribuye a romper las barreras comunicativas entre los hispanohablantes oyentes y las personas que tienen alguna clase de discapacidad auditiva.
La lengua de signos en España es utilizada por cerca de 27.300 personas que tienen alguna discapacidad auditiva
El Grupo de Robótica y Visión Tridimensional, RoVit, de la Universidad de Alicante (UA), ha logrado el diseño de “Sign4all”. Se trata de la primera app capaz de reconocer e interpretar en tiempo real el alfabeto de la lengua de signos española, reconocida por las siglas LSE.
Esto representa todo un avance que servirá para romper las barreras comunicativas entre sordos y oyentes en situaciones tan comunes y cotidianas como comer en un restaurante o ir a una consulta médica.
De acuerdo con la última Encuesta de discapacidad, autonomía personal y situaciones de dependencia llevada a cabo por el Instituto Nacional de Estadística (INE), en el país ibérico habitan 1.230.000 personas con una discapacidad auditiva de diferente tipo y grado. De este grupo de personas, 27.300 utilizan la lengua de signos para lograr comunicarse.
Por medio del empleo de distintas técnicas de visión por computador y de aprendizaje profundo o “deep learning”, Ester Martínez, doctora en informática e investigadora de la UA, junto al estudiante de doctorado Francisco Morillas, lograron desarrollar esta herramienta de bajo coste con el propósito de brindar asistencia a las personas sordas en el momento en que no puedan ir acompañadas de un intérprete.
Sign4all, traduce la lengua de signos en tiempo real
La herramienta Sign4all, luego de capturar a la persona y extraer el detalle del esqueleto de los brazos y manos, procede a codificar con color rojo la parte derecha del cuerpo y en azul la parte izquierda, manteniendo constantemente el anonimato del usuario. Luego, la app traduce el signo usado por la persona sorda en tiempo real y, en sentido contrario, logra signar a través de un avatar virtual palabras en español tecleadas por la persona oyente.
Martínez explicó que, la idea es que todo este proceso se pueda llevar a cabo descargando una herramienta y utilizando la propia cámara del teléfono celular o de una tablet, para que pueda ser usado en cualquier lugar. La app puede traducir en tiempo real la lengua de signos al español escrito y viceversa.
Esta idea comenzó a desarrollarse hace un par de años, coincidiendo con el trabajo de fin de grado del estudiante Francisco Morillas, quien ahora está haciendo el doctorado. La idea del proyecto surgió luego de que en el año 2018 diseñaran una herramienta para monitorizar y realizar ejercicio físico con personas mayores y una interfaz para que esta gente pudiera interactuar con la aplicación.
La experta explicó que, cuando desarrollaban la interfaz surgió la pregunta sobre qué pasaría si la persona a la que está intentando monitorizar el bot tiene alguna clase de discapacidad auditiva o visual.
Esta app es capaz de interpretar y reconocer el alfabeto de la LSE con una precisión del ochenta por ciento
La científica también señaló que, luego de muchas pruebas, la aplicación consiguió interpretar y reconocer el alfabeto de la LSE con una precisión del 80 por ciento. A pesar de este resultado, que se corresponde con el alfabeto datilológico, ahora mismo el equipo está trabajando en una versión con un vocabulario específico del campo de las tareas cotidianas donde se deben interpretar frases completas, agregó Martínez.
Estos científicos de la UA llevan meses entrenando este nuevo sistema e introduciendo cada vez mayor cantidad de signos. En tal sentido, surgió una colaboración con el Grupo de Investigación de Lengua Española y Lenguas Signadas (GRILES) perteneciente a la Universidad de Vigo, expertos con amplia experiencia en el estudio e investigación de esta lengua y su utilización en distintos territorios del país.
Ahora se cuenta con un vocabulario más amplio
Martínez señaló que, desde la Universidad de Vigo se encuentran recabando imágenes con intérpretes y ellos en la UA están procesando esos datos completamente. De esta manera, pueden ampliar mucho más rápido el vocabulario de su sistema de reconocimiento e interpretación de la lengua de signos española y mejorar su funcionamiento.
La Sign4all, una aplicación que fue creada para los sordos, de momento permite el reconocimiento del alfabeto de la lengua de signos y signarlo; sin embargo, los dos científicos de la UA disponen desde ya de un nuevo corpus de datos de vocabulario de alimentación y agregarán, previo a unas pruebas que están llevando a cabo sus colegas de la Universidad de Vigo, expresiones de interacción social.
La investigadora concluyó diciendo que, hasta los momentos, lo único que está finalizado y completado es lo relacionado con el abecedario. Pero están intentando ampliarlo para que verdaderamente la herramienta Sign4all sea útil y llegue a la mayor cantidad de personas posible.
