SoundSculpt: Esculpir el sonido con movimiento y tecnología

Una experiencia inmersiva que fusiona arte, música y realidad aumentada

Inspirado en la ancestral práctica de la escultura, SoundSculpt traslada la esencia del modelado táctil al ámbito digital, permitiendo a los usuarios moldear el sonido con sus propios movimientos. Esta innovadora herramienta interactiva se apoya en la idea de que el proceso creativo puede ser tan significativo como la obra final, y busca borrar los límites entre el creador y la creación. Al incorporar audio espacial y arte visual, la propuesta invita a una inmersión sensorial que transforma la percepción tradicional de la música y el arte.

La singularidad de SoundSculpt reside en su capacidad para fusionar sonido generativo, movimiento corporal y arte visual en tiempo real. Utilizando las Bose AR Frames, equipadas con sensores giroscópicos, el sistema capta los movimientos de la cabeza del usuario en seis grados de libertad, traduciéndolos en modulaciones de audio a través de un marco MIDI. Esta interacción permite esculpir una burbuja virtual cuya superficie responde a los gestos, creando un entorno dinámico que estimula la creatividad y el bienestar emocional.

La realización técnica de SoundSculpt se apoya en tecnologías XR y procesamiento visual avanzado. El desarrollo se llevó a cabo en Unity, empleando scripts en C# para gestionar la interacción en tiempo real y la manipulación de mallas. La integración de principios de sinestesia potencia la percepción sensorial, generando una experiencia holística que conecta el arte físico y digital. Entre sus especificaciones destacan unas dimensiones compactas, lentes polarizadas, resistencia al agua y una autonomía de hasta 5,5 horas.

El proceso de interacción es intuitivo: los usuarios se sumergen en una burbuja virtual y, mediante inclinaciones de cabeza o pulsaciones en las gafas, modifican tanto la forma visual como el paisaje sonoro. Esta dinámica de “escuchar, esculpir y generar arte” fomenta un flujo creativo continuo, evidenciado en investigaciones realizadas en el MIT Media Lab. Los estudios, que incluyeron pruebas biométricas y participación de diseñadores y no diseñadores, demostraron mejoras en la percepción espacial y estabilidad emocional, sugiriendo aplicaciones en arteterapia y salud mental.

El desarrollo de SoundSculpt supuso superar retos técnicos y creativos, como la integración fluida de retroalimentación multisensorial y la sincronización en tiempo real de audio y visuales. La precisión de los sensores y la capacidad de procesamiento fueron optimizadas mediante pruebas iterativas y el uso de tecnología XR de vanguardia, asegurando una experiencia envolvente y emocionalmente significativa.

SoundSculpt, galardonado con el premio Iron en los A' Digital Art Award 2025, representa un avance en la convergencia de arte, tecnología e innovación. Su enfoque en la participación activa y el bienestar emocional posiciona este proyecto como referente en el diseño de experiencias creativas para el futuro.