Samsung Electronics lberia ha presentado este lunes la aplicación Tallk, una herramienta de software que facilita la comunicación de las personas con movilidad reducida y ausencia del lenguaje oral, como los pacientes de ELA.
Tallk ha sido desarrollada por la startup española Irisbond, especializada en soluciones de ‘eye tracking’. Se trata de la primera aplicación basada en tecnología de seguimiento ocular que hace uso de la cámara integrada en una tablet para la comunicación interpersonal.
La app está disponible gratuitamente en castellano para determinados modelos de Galaxy Tab de Samsung en España y tiene como objetivo “facilitar la comunicación verbal a las personas que sufren este tipo de patologías y otras similares, así como dotarles de una mayor independencia, mejorar su calidad de vida y la de sus seres queridos y cuidadores”.
El proyecto ha tenido un fuerte componente de I+D: gracias a una combinación de inteligencia artificial, mecanismos de seguimiento facial y metodologías de deep learning basado en redes neuronales se ha conseguido desarrollar un seguimiento ocular sin necesidad de dispositivos adicionales y simplemente usando la cámara integrada de esas tablets de Samsung.
“El proyecto desde sus inicios ha pasado por diferentes fases hasta poder llegar a la solución final. Por un lado, una fase de desarrollo de algoritmos para realizar el ‘eye tracking’ utilizando las cámaras de las tabletsSamsung Galaxy. Y por otro lado, se ha desarrollado la aplicación Tallk, diseñada especialmente para ser controlada con la mirada”, dicen desde la compañía.
Finalmente, añaden, se ha realizado la integración del resultado de ambas fases aplicando diferentes herramientas de usabilidad, con el objetivo de “hacer posible el control de la aplicación con la mirada”.
Para llevar a cabo este proyecto se ha involucrado a un gran equipo con diferentes perfiles dada la gran complejidad del producto final. Por un lado, están los expertos en ‘eye tracking’ e inteligencia artificial, que se han ocupado de desarrollar las metodologías para la interacción a través de la mirada en tablets de Samsung. Por otro lado, los expertos en usabilidad han desarrollado las herramientas que han permitido integrar la tecnología con la app de forma óptima.
Además, cabe resaltar que todo el equipo involucrado es experto en el campo de la comunicación utilizando tecnologías asistidas.
A este equipo encargado de crear la solución se le une el asesoramiento recibido por expertos en la enfermedad y problemas de comunicación, como la Fundacion Luzón, logopedas e incluso un grupo de pacientes de ELA que han hecho posible adaptar la aplicación a las necesidades reales.
Funcionamiento basado en inteligencia artificial
Con un tamaño de pantalla mínimo de 8 pulgadas por motivos de usabilidad y accesibilidad, la tecnología de seguimiento ocular de Tallk utiliza la cámara de la tablet para localizar el iris usando patrones faciales del usuario. El seguimiento del iris a través de la cámara estándar de una tablet “ha supuesto un reto durante su desarrollo, ya que, hasta el momento, sólo se podía realizar a través de cámaras adicionales basadas en infrarrojos”, informan.
Gracias a diferentes algoritmos e inteligencia artificial, el software traduce el movimiento de los ojos en trazados aproximados dentro de la pantalla para acceder a un teclado virtual predictivo y verbalizar el texto introducido por el usuario, mediante la voz configurada en el menú de accesibilidad de la tablet.
“Los avanzados algoritmos de software de Irisbond, unidos al modelado y reconocimiento de patrones faciales junto con la inteligencia artificial aplicada, captan el movimiento de los ojos y lo traducen en movimientos dentro de una pantalla”, explican desde Samsung.
El uso de redes neuronales para crear mapas de reconocimiento facial que sean capaces de identificar puntos característicos de la cara y landmarks, combinado con vectores oculares, genera unos modelos que, entrenados convenientemente con miles de datos, permiten realizar un seguimiento eficaz de la mirada.
La aplicación también permite gestionar una colección con las frases favoritas, así como un histórico de las utilizadas recientemente, por lo que puede acceder a ellas y activarlas en cualquier momento, de forma rápida y sencilla.
Además, el teclado permite al usuario comunicarse con Bixby, el asistente de Samsung, con el fin de utilizar sus comandos para resolver distintas peticiones, como establecer una alarma, leer en voz alta los mensajes recibidos o reproducir una canción. De la misma forma, permite controlar dispositivos del hogar compatibles con Smartthings, como el televisor o los electrodomésticos.
“Tallk ha pasado ya por diferentes pruebas piloto, con especialistas en tecnologías de comunicación y pacientes de ELA, para tener un feedback preciso e incorporar todas las mejoras detectadas en los últimos meses de su desarrollo”, concluyen.
Apúntate a nuestra newsletter y recibe en tu correo las últimas noticias sobre tecnología.
