Desarrollo de un sistema para el control de dispositivos robóticos por medio de gestos y un sensor Leap Motion

Abstract

El presente trabajo de graduación desarrolla un sistema de control gestual basado en el sensor Leap Motion para la operación de distintos dispositivos robóticos, tanto en entornos simulados como físicos. El problema central identificado es la limitada interacción intuitiva en actividades educativas de divulgación científica, particularmente en talleres STEM realizados en la Universidad del Valle de Guatemala. Para atender esta necesidad, se propone una interfaz natural que permita controlar robots mediante movimientos de la mano sin contacto físico. El proyecto tiene como objetivos principales investigar las características del sensor, extraer y procesar la información gestual en tiempo real, traducirla a comandos para robots disponibles en la UVG y diseñar una interfaz gráfica que facilite su uso. La metodología adoptada fue incremental: Se inició con simulaciones básicas mediante un agente puntual, avanzando luego hacia modelos más complejos como una mano virtual, el robot Pololu 3Pi+ en Webots y el robot Sawyer en Matlab. Finalmente, se integraron sistemas físicos como una mano animatrónica y el Pololu 3Pi+ físico. Para asegurar el funcionamiento del sistema, se emplearon diversos métodos de comunicación entre procesos, incluyendo UDP, comunicación serial y archivos temporales. Los resultados demuestran la viabilidad del uso de Leap Motion como interfaz de control para múltiples sistemas robóticos, logrando replicar acciones gestuales de forma intuitiva y funcional. Asimismo, se elaboraron talleres y una guía técnica para facilitar la replicación del sistema en actividades educativas, ampliando así su impacto dentro de la comunidad académica.

This graduation project presents the development of a gesture-based control system using the Leap Motion sensor to operate various robotic devices, both in simulated and physical environments. The central problem identified is the limited intuitive interaction available in educational outreach activities, particularly in STEM workshops held at the Universidad del Valle de Guatemala. To address this need, the project proposes a natural interface that enables robot control through hand movements without physical contact. The main objectives of the project include investigating the characteristics of the sensor, extracting and processing gesture information in real time, translating this information into commands for the robots available at UVG, and designing a graphical interface that facilitates user interaction. The methodology followed an incremental approach: it began with basic simulations using a point agent, then progressed to more complex models such as a virtual hand, the Pololu 3Pi+ robot in Webots, and the Sawyer robot in MATLAB. Finally, physical systems such as the animatronic hand and the Pololu 3Pi+ robot were integrated. To ensure proper system operation, several interprocess communication methods were employed, including UDP, serial communication, and temporary files. The results demonstrate the feasibility of using the Leap Motion sensor as a control interface for multiple robotic systems, successfully replicating gesture-based actions in an intuitive and functional manner. Additionally, workshops and a technical guide were developed to support the replication of the system in educational activities, thereby expanding its impact within the academic community.