Increasing presence in first-person virtual environments through auditory interfacesan analytical approach to adaptative sound and music

Resumen

La popularización de los dispositivos de realidad virtual ha traído consigo una mayor necesidad de presencia e inmersión para los jugadores de videojuegos. Habitualmente se intenta cumplir con dicha necesidad a través de gráficos y sonido por ordenador más realistas; no obstante, las interfaces gráficas de usuario muy invasivas aún son un estándar en la industria del videojuego de RV, incluso si se tiene en cuenta que varias investigaciones previas a la redacción de este texto recomiendan no utilizarlas para conseguir un resultado más inmersivo. A lo largo de esta tesis, varios canales de comunicación multimodales y no visuales son explorados con el fin de reducir la cantidad de elementos gráficos extradiegéticos necesarios en las capas de las interfaces gráficas de usuario destinadas a la representación de datos, todo ello mientras se logra un aumento de la sensación de presencia. Por tanto, los principales objetivos de esta investigación son encontrar los canales óptimos para efectuar comunicación semántica sin recurrir a interfaces visuales "a la vez que se reduce el número de elementos extradiegéticos en un videojuego" y desarrollar un total de seis aplicaciones con el objetivo de validar todo el conocimiento obtenido mediante prototipos similares a videojuegos comerciales. De todos ellos, el más importante es LitSens: un generador de música adaptativa que toma como entradas emociones humanas. Antes de pasar a describir en detalle cada uno de los procesos de experimentación que dan forma a esta tesis, se incluye una revisión de la literatura académica disponible actualmente acerca de una serie de asuntos relevantes en este contexto. Se proporciona, asimismo, una definición unificada de los conceptos de «presencia» e «inmersión» y se describen en detalle los temas centrales de esta investigación. Acto seguido, se presentan los resultados obtenidos a través de un experimento que conecta el movimiento virtual, la presencia y la simulator sickness (o "enfermedad del simulador"), y que permite alcanzar la conclusión de que el desplazamiento simulado y continuo es posible en entornos virtuales que cumplen con una serie de características. A continuación, se describe un breve experimento acerca de cómo el sonido puede influir en el comportamiento de los jugadores. Tras comprobar que las interfaces auditivas tienen suficiente potencial como para reemplazar a las interfaces visuales, se presentan una serie de nuevas técnicas de espacialización sonora, que son validadas a través de un prototipo jugable. LitSens comienza a desarrollarse en esta fase de la investigación y consiste, en un principio, en un sistema para la generación de música adaptativa con el fin de incrementar la presencia. La arquitectura de software resultante es puesta a prueba en dos motores de videojuegos muy populares: Unreal Engine y Unity. Posteriormente, se realizan nuevos experimentos con la intención de validar el funcionamiento de LitSens y comprobar si realmente puede influir sobre el comportamiento y las emociones de los usuarios en tiempo real; los resultados obtenidos al respecto son positivos. Por último, se añade a esta aplicación un sistema de reconocimiento de emociones en función de los gestos de la cabeza mientras se lleva puesto un dispositivo de realidad virtual, basado en redes neuronales, que permite retroalimentación inmediata por parte de los usuarios mientras está en ejecución. Las principales contribuciones que pueden ser extraídas de este proceso investigador son: la construcción de un generador de música adaptativa (LitSens), el descubrimiento de la relación existente entre el movimiento no acelerado, la presencia y la simulator sickness, la creación de nuevos métodos que permiten la orientación de los jugadores en entornos tridimensionales (basada en espacialización auditiva) y la construcción de una red neuronal con la capacidad de reconocer emociones en jugadores tan solo a partir de movimientos de la cabeza.