Estamos emocionados de destacar a Jesse Austin-Stewart y su proyecto Music for PlayStation, una iniciativa fascinante que aprovecha nuestro sentido del tacto para interactuar con la música de una manera innovadora. Aunque Jesse no es un empleado de Sony Interactive ni está afiliado a la compañía, sus esfuerzos forman parte de un gran movimiento hacia la accesibilidad en los videojuegos.
Las composiciones de Jesse están diseñadas para ser sentidas, no escuchadas. Tanto si eres oyente, con problemas de audición, o d/Deaf, todos pueden experimentar la música en igualdad de condiciones, utilizando las vibraciones del innovador sistema de retroalimentación háptica del controlador DualSense. En este perfil, conversamos con Jesse sobre sus inspiraciones para el proyecto, los desafíos que ha enfrentado, el futuro de la accesibilidad en la industria de los videojuegos, y más.
La Chispa
Jesse comenzó a trabajar en lo que se ha convertido en este proyecto al final de su doctorado en 2022. Aunque la conversación giraba en torno al audio espacial, una característica relevante en las industrias comercial y de entretenimiento en el hogar en ese momento, su perspectiva cambió. “Lo estaba viendo desde la perspectiva del arte sonoro,” dice. “Tenía curiosidad por cómo podemos hacer que la música espacial dentro del arte sonoro sea más accesible a través de la educación y también en términos de discapacidad y audición.”
A partir de ahí, creó interfaces de audio espacial. Un ejemplo es una tabla para apoyar el brazo y sentir diferentes puntos de vibración. “Los participantes d/Deaf y con problemas de audición con los que trabajé encontraron esto realmente accesible para ellos. Descubrieron que rompía barreras que habían encontrado previamente en el campo.”
Este fue un verdadero éxito en los ojos de Jesse, pero también invitó a más descubrimientos.
Descubrimiento Vibrante
Por casualidad, encontró un artículo sobre el uso del controlador DualSense como interfaz de audio. Comenzó a experimentar un poco con la reproducción de música desde Spotify a través del controlador y notó que, al alcanzar las frecuencias correctas, podía activar significativamente los motores de vibración. Una vez que perfeccionó el concepto, la chispa creativa se transformó en una llama de desarrollo completo.
El avance de Jesse al aplicar sus estudios a un accesorio práctico, accesible y tecnológicamente abordable como el controlador DualSense es uno de sus momentos más orgullosos. “Desde la perspectiva de un compositor y usuario,” señala, “este fue el momento más orgulloso. El tipo de trabajo que estaba haciendo se hizo más accesible con una pieza de tecnología fácil de usar, ya sea para compositores o usuarios. El prototipo inicial era limitado, pero el DualSense [inalámbrico] es plug-and-play.”
Con una nueva vía para su aplicación conceptual de la música usando el controlador, el desafío sería refinar el hardware para ofrecer las vibraciones y sensaciones precisas que reflejaran los componentes de audio de la música. “Cuando escuchas una canción,” dijo, “tienes el beneficio de diferentes instrumentos que crean paletas variadas de sonidos. ¿Cómo se traduce eso a través de las capacidades del controlador DualSense?” Jesse amplió su línea de pensamiento y abordó ese obstáculo experimentando con frecuencias variadas, retroalimentación y sintiendo la salida. Esto floreció en lo que es ahora su proyecto, una colección de piezas musicales de vibración desarrolladas con colaboración intencional con artistas d/Deaf y con problemas de audición.
Inspiración y Futuro
La inspiración toma muchas formas, y la industria de la música en sí misma fue un área que motivó a Jesse a aplicar sus estudios en dirección a la accesibilidad. Citando una variedad de artistas, incluyendo a Christine Sun Kim, una artista sonora d/Deaf que regularmente incluye notación de estudios, lenguaje escrito y Lengua de Señas Americana en sus obras, Jesse busca unirse a sus discusiones sobre el sonido y cómo impacta a la sociedad. “Aparte de Christine, están Suranga Nanayakkara, Ene Alicia Søderberg, Blake Johnston. Estos artistas todos interactúan con la háptica y/o la audición vibracional de diversas maneras,” dice.
En cuanto a los próximos pasos inmediatos, Jesse está ansioso por llevar su proceso de pensamiento y resultados a una audiencia más amplia. “Pronto exhibiré en una conferencia de música en las Islas Feroe,” dice. “Estoy ansioso por exhibir en varios lugares, aumentando la exposición para que otros puedan llevarse la idea a casa para reflexionar sobre ella también.” Jesse invita y anima a todos a innovar si se sienten inspirados por su trabajo. “Ahí es donde se volvería realmente interesante para mí, ver la perspectiva de otras personas sobre lo que harían con el controlador en la misma línea.”
Su deseo de mayor exposición es complementario al trabajo que ve en otros lugares, ya que Jesse habló elogiosamente sobre el trabajo realizado por expertos que se centran específicamente en la accesibilidad. También destacó que los esfuerzos realizados en toda la industria y en Sony Interactive han sido alentadores, destacando la posibilidad de avanzar con un esfuerzo colectivo e inclusivo.
“En general, hemos visto un progreso increíble en términos de accesibilidad en el juego y visual en los últimos 15 años aproximadamente,” compartió. Lo que Jesse espera ver es no solo más agencia dada a las personas que se beneficiarían de opciones de accesibilidad adicionales en cualquier formato—ya sea visual, táctil o auditivo—sino también involucrar a las personas con discapacidades en el proceso de invención. “La agencia es crucial, por lo que continuar teniendo defensores involucrados en discusiones y procesos de toma de decisiones es integral.”