Desarrollo de plataforma de proyección interactiva basada en captura de movimiento para el entorno dinámico Robotat

Abstract

La realidad aumentada ha experimentado avances significativos gracias a la integración de sistemas de captura de movimiento, procesamiento en tiempo real y visualización inmersiva. En este proyecto se desarrolló e implementó la infraestructura digital necesaria para crear un entorno interactivo en el entorno Robotat de la Universidad del Valle de Guatemala, capaz de sincronizar la información del movimiento del usuario capturada mediante el sistema OptiTrack con la proyección visual distribuida en el ambiente. Para ello se diseñó un sistema de gestión de contenido multimedia que permite controlar de forma remota la proyección a través de la red del Robotat, integrando protocolos como UDP y SRT para la transmisión eficiente de video y soporte para herramientas como OBS y GStreamer. Se construyó además una aplicación capaz de interpretar datos de posición y orientación transmitidos mediante MQTT, traduciéndolos a coordenadas de pantalla y modificando la visualización en tiempo real. Esta infraestructura permitió implementar interacciones precisas basadas en marcadores pasivos, incluyendo el control de un cursor digital y el desarrollo de un juego de Air Hockey con detección simultánea de múltiples marcadores. El sistema demostró latencias reducidas entre 20 y 50 ms, estabilidad continua ante desconexiones y layouts dinámicos en un mosaico de transmisiones que organiza múltiples fuentes audiovisuales con baja latencia. La validación final confirmó la sincronización efectiva entre captura y proyección, evidenciando la viabilidad del sistema para experiencias multiusuario. En conjunto, el proyecto establece una plataforma robusta para aplicaciones de realidad aumentada, simulaciones interactivas, experimentación tecnológica y entornos educativos inmersivos.

Augmented reality has experienced significant advances through the integration of motioncapture systems, real-time processing, and immersive visualization. This project developed and implemented the digital infrastructure required to create an interactive environment within the Robotat space at Universidad del Valle de Guatemala, capable of synchronizing user motion data captured through the OptiTrack system with the visual projection distributed throughout the environment. To achieve this, a multimedia content management system was designed to remotely control the projection through the Robotat network, integrating protocols such as UDP and SRT for efficient video transmission and providing support for tools like OBS and GStreamer. An application was also developed to interpret position and orientation data transmitted via MQTT, translating them into screen coordinates and modifying the projection in real time. This infrastructure enabled precise interactions based on passive markers, including the control of a digital cursor and the development of an Air Hockey game with simultaneous detection of multiple markers. The system demonstrated reduced latencies between 20 and 50 ms, continuous stability during disconnections, and dynamic layouts in a stream mosaic that organizes multiple audiovisual sources with low latency. The final validation confirmed the effective synchronization between motion capture and projection, demonstrating the feasibility of the system for multi-user experiences. Overall, the project establishes a robust platform for augmented reality applications, interactive simulations, technological experimentation, and immersive educational environments.