Software que captura, por medio de Kinect, los datos de señas manuales y los traduce a texto

  • Claudia Patricia Rodríguez
  • Jhon Alexander Pineda
  • Diego Fabián Sánchez
Palabras clave: Kinect, nubes de puntos, OpenCV, procesamiento de imágenes, señas manuales, PLC.

Resumen

A continuación se presentan los resultados del proyecto que tiene como objetivo desarrollar un software, que permite, por medio de la cámara de profundidad de Kinect, capturar la información de las señas manuales, que una persona realice frente a Kinect, y mostrar el texto equivalente a esta seña. El software presentado aún está en la fase de prototipo, son varias las mejoras que en él se debe y se pueden implementar con el fin de obtener mejores resultados en el reconocimiento de señas. 

El prototipo desarrollado es capaz de tomar los puntos de una escena captada por medio del sensor de profundidad de Kinect, aplicar un filtro para eliminar datos no necesarios y posteriormente mostrar el Mesh o maya que reconstruye la imagen de la escena final en 2D, estableciendo la diferencia de distancias con el cambio de color. El aplicativo detecta la localización de la o las manos en el Mesh, luego toma imágenes del gesto manual y las compara con imágenes almacenadas en archivo, estas cuentan con la traducción respectiva, si encuentra una imagen con alto grado de coincidencia se devuelve el texto correspondiente. Los resultados de la investigación permiten reconocer las fases, librerías y plataformas óptimas para el procesamiento de imágenes implementado en el prototipo. 

Descargas

La descarga de datos todavía no está disponible.

Biografía del autor/a

Claudia Patricia Rodríguez

Especialista en Bases de Datos y Gerencia educativa.

Docente UNISANGIL sede Chiquinquirá

Jhon Alexander Pineda

Estudiante Ingeniería de Sistemas de UNISANGIL.

Sede Chiquinquirá.

Diego Fabián Sánchez

Estudiante Ingeniería de Sistemas de UNISANGIL.

Sede Chiquinquirá.

Referencias

EMGU. 2012. MainPage. Consultado el 3 deAbnlde2012 http:ffwww.emgu.ccan/wikilmde3Lphp/Mam_Page.

KINECTFORDEVELOPERS. 2013. SkeletonTracking-MapSkeletoiiPoiiitToDepthDepiecated Consultado el 19 de Febrero de 2012 http://wvvw.kmectfordevelopers.coni/2013/01/31/skeleton-tracliing-mapskeletonpomttodepth-depiecated''.

OPENNI. 2013. What ís openm?. Consultado el 28 de marzo de 2012 http: A www.openni.org/.

POINTCLOUDS. 2012. PCL Consultado el 19 de marzo de 2012 http://pomtclouds.org documentation''/.

PRIMESENSE. 2013. PrimeSense Documentación Consultado el 21 de Maizo de 2012. http://www.pnmesense.com.

Romero L. A. y Caro T. C. 2011 Redes Neuronales y Reconocimiento de Patrones.

Turk, M_ 2001. Eigenfaces for Recogmüon: Journal ofCogmüve Neurosicence. VoL 3, No. 1. pp. 71-86.

Universidad de Málaga, (2010). Pass-Through del tipo de cambio. Consultado el 12 de Mayo de 2012 http:// extemos nma.es/cuademospdfs/papeles3 8.pdf

Universidad del Quindio. 2010. Técnicas para la Detección de Rostros en Secuencias de Imágenes basadas en enfoques Holísticos. Consultado el 4 de Junio de 2012 http://www.umquindio.edu.co/uniqumdio/ revistadyp20111013_2'Aibcnlos/Í OE dic i on' arti culo_fiml pdf

Vidal E. 2001. Aprendizaje y Percepción: Preproceso y Extracción de Caiacterisüc as.

Viola P. and Jones M. 2001. Rapid Object Detecüon usmg a Boosted Cascade of Simple Features. IEEE CVPR

Zuliam M. 2012. RANSAC forDummies. Consultado el 14 de Agosto de 2012 http:/,'vision.ece.ucsb.edu/~zuliani/ ResearchRANSAC /docs;RANSAC4Dummies.pdf.

Publicado
2013-12-30
Cómo citar
Rodríguez, C. P., Pineda, J. A., & Sánchez, D. F. (2013). Software que captura, por medio de Kinect, los datos de señas manuales y los traduce a texto. Ingeniería Y Región, 10, 67-76. https://doi.org/10.25054/22161325.758
Sección
Artículos