Software que captura, por medio de Kinect, los datos de señas manuales y los traduce a texto

Resumen

A continuación se presentan los resultados del proyecto que tiene como objetivo desarrollar un software, que permite, por medio de la cámara de profundidad de Kinect, capturar la información de las señas manuales, que una persona realice frente a Kinect, y mostrar el texto equivalente a esta seña. El software presentado aún está en la fase de prototipo, son varias las mejoras que en él se debe y se pueden implementar con el fin de obtener mejores resultados en el reconocimiento de señas. 

El prototipo desarrollado es capaz de tomar los puntos de una escena captada por medio del sensor de profundidad de Kinect, aplicar un filtro para eliminar datos no necesarios y posteriormente mostrar el Mesh o maya que reconstruye la imagen de la escena final en 2D, estableciendo la diferencia de distancias con el cambio de color. El aplicativo detecta la localización de la o las manos en el Mesh, luego toma imágenes del gesto manual y las compara con imágenes almacenadas en archivo, estas cuentan con la traducción respectiva, si encuentra una imagen con alto grado de coincidencia se devuelve el texto correspondiente. Los resultados de la investigación permiten reconocer las fases, librerías y plataformas óptimas para el procesamiento de imágenes implementado en el prototipo.