Traductor de lenguaje de señas para personas con discapacidad auditiva basado en visión artificial

Abstract

La visión artificial es una rama dentro de la inteligencia artificial, con la cual un dispositivo busca simular la visión humana permitiendo extraer información relevante de imágenes mediante un proceso de entrenamiento previo. Por lo cual, la visión artificial puede ser aplicada a distintos campos para brindar varios beneficios. En este contexto, en el presente documento se presenta el desarrollo de un prototipo funcional de traducción de lenguaje de señas basado en visión artificial que permite a las personas con discapacidad auditiva comunicarse con personas que desconocen este lenguaje, promoviendo así la inclusión social. Para ello el sistema es implementado en la placa NVIDIA Jetson Nano para realizar la detección de letras del ASL (Lenguaje de Señas Americano) mediante una inferencia en tiempo real, haciendo uso de librerías destinadas a tareas de visión artificial y compatibles con el lenguaje de programación Python, como OpenCV y MediaPipe, además de la Red Neuronal Convolucional (CNN) “yolov8n.pt” del modelo YOLOv8, misma que fue entrenada con el dataset “Real-Time-SignLanguage”, que ofrece diversas imágenes de cada letra del alfabeto ASL. El proceso de desarrollo del presente proyecto incluye la detección en tiempo real de los gestos de la mano y la reproducción de la traducción mediante un sintetizador de voz. Este trabajo representa un aporte en accesibilidad y aprendizaje del lenguaje de señas, siendo una base para ser optimizada mediane modelos más complejos en futuros proyectos.