La carrera de las grandes empresas tecnológicas hacia la realidad aumentada (AR) es cada día más competitiva. Este mes, muerto Se lanzó la última versión. de sus propios auriculares, el Quest 3. A principios del próximo año, Apple Planea dejar Sus primeros auriculares, los Vision Pro. Confirma anuncios específicos de la plataforma juegos Y entretenimiento Combina los mundos virtual y físico: un juego de mesa digital colocado sobre la mesa de café y una pantalla de cine proyectada sobre los asientos del avión.

Sin embargo, algunos investigadores están más interesados ​​en otros usos de la realidad aumentada. Universidad de Washington Laboratorio de fabricabilidad Estas tecnologías emergentes se aplican para ayudar a las personas con discapacidad. Este mes, investigadores del laboratorio presentarán varios proyectos que implementan realidad aumentada (a través de auriculares y aplicaciones telefónicas) para hacer el mundo más accesible.

Los investigadores del laboratorio primer regalo RASSAR, una aplicación que puede escanear casas para resaltar problemas de accesibilidad y seguridad, el 23 de octubre a las Conferencia de activos 23 en Nueva York.

Poco después, el 30 de octubre, otros equipos del laboratorio presentarán sus primeras investigaciones en la conferencia. Este ’23 Conferencia en San Francisco. Una aplicación Permite que los auriculares comprendan mejor el lenguaje natural El otro tiene como objetivo Hacer que el tenis y otros deportes de pelota sean accesibles para todos Para usuarios con discapacidad visual.

UW News habló con los autores principales de los tres estudios, Xia Su Y jay (Jayuk Leeambos estudiantes de doctorado de la Universidad de Washington en la Escuela de Ingeniería y Ciencias de la Computación Paul G. Allen, sobre su trabajo y el futuro de la realidad aumentada para la accesibilidad.

¿Qué es la realidad aumentada y cómo se suele utilizar actualmente?

viene hacia mi: Creo que una respuesta generalmente aceptada es que se utilizan unos auriculares portátiles o un teléfono para superponer objetos virtuales en un entorno físico. Probablemente mucha gente conozca la realidad aumentada por el juego “Pokémon Go”, en el que superpones estos Pokémon en el mundo físico. Apple y Meta ofrecen ahora “realidad mixta” o realidad aumentada transitoria, que combina los mundos físico y virtual a través de cámaras.

Xia Su: Algo que he notado últimamente es que la gente está intentando ampliar la definición más allá de las gafas y las pantallas de los teléfonos. Podría haber audio AR, que manipula tu audición, o dispositivos que intentan manipular tu olfato o tacto.

Mucha gente asocia la realidad aumentada con la realidad virtual y concluye con una discusión sobre transformación y juegos. ¿Cómo se aplica en accesibilidad?

GL: La realidad aumentada como concepto existe desde hace varias décadas. Pero en John FröhlichEn nuestro laboratorio combinamos realidad aumentada e investigación de accesibilidad. Unos auriculares o un teléfono podrían saber cuántas personas hay delante de nosotros, por ejemplo. Para las personas ciegas o con baja visión, esta información puede ser crucial en su forma de percibir el mundo.

XS: En realidad, existen dos caminos diferentes para la investigación de accesibilidad AR. El más común es intentar hacer que los dispositivos de realidad aumentada sean más accesibles para las personas. Otro enfoque menos común es preguntar: ¿Cómo podemos utilizar la realidad aumentada o la realidad virtual como herramientas para mejorar la accesibilidad al mundo real? Esto es en lo que nos centramos.

GL: A medida que las gafas de realidad aumentada se vuelven más delgadas y más baratas, y a medida que avanzan la inteligencia artificial y la visión por computadora, esta investigación será cada vez más importante. Pero la difusión de la realidad aumentada, incluso en términos de accesibilidad, plantea muchas preguntas. ¿Cómo se aborda la privacidad de los transeúntes? Nosotros, como sociedad, reconocemos que la tecnología de la visión puede ser beneficiosa para las personas ciegas y con discapacidad visual. Pero es posible que tampoco queramos incluir tecnología de reconocimiento facial en las aplicaciones por razones de privacidad, incluso si ayuda a alguien a identificar a sus amigos.

Hablemos de los artículos que salieron. Primero, ¿puedes aclarar tu Aplicación Rassar?

XS: Es una aplicación que las personas pueden utilizar para inspeccionar sus espacios interiores y ayudarles a detectar posibles problemas de seguridad de acceso en los hogares. Esto es posible porque algunos iPhone ahora lo tienen lidar Escáneres (detección de luz y alcance) que nos dicen la profundidad de un espacio, para que podamos reconstruir el espacio en 3D. Hemos combinado esto con Visión por computador Modelos para resaltar formas de mejorar la seguridad y la accesibilidad. Para usarlo, alguien (quizás un padre o cuidador que protege la casa) escanea una habitación con su teléfono inteligente y RASSAR detecta problemas de accesibilidad. Por ejemplo, si el escritorio es demasiado alto, aparecerá un botón rojo en el escritorio. Si el usuario hace clic en el botón, habrá más información sobre por qué la altura de este escritorio es un problema de accesibilidad y posibles soluciones.

GL: Hace diez años, habría que revisar 60 páginas de archivos PDF para verificar completamente la accesibilidad del hogar. Hemos recopilado esta información en la aplicación.

¿Y esto es algo que cualquiera podrá descargar en su teléfono y utilizar?

XS: Este es el objetivo final. Ya tenemos una demostración. Esta versión se basa en la tecnología Lidar, que actualmente sólo está disponible en algunos modelos de iPhone. Pero si tienes un dispositivo de este tipo, es muy sencillo.

GL: Este es un ejemplo de estos avances en hardware y software que nos permiten crear aplicaciones rápidamente. Apple anunció Plano de habitación, creando un mapa 3D de la habitación, cuando se agrega un sensor lidar. Usamos eso en RASSAR para comprender la planificación general. Poder aprovechar eso nos permite crear un prototipo muy rápidamente.

Así que RASSAR ya es casi desplegable. Otras áreas de investigación que ofrece se encuentran en una etapa temprana de desarrollo. ¿Puedes contarme acerca de Punto de Jazz AR?

GL: Es una aplicación implementada en los auriculares AR para permitir a las personas conversar de forma más natural con asistentes de voz como Siri o Alexa. Existen todos estos pronombres que usamos cuando hablamos que son difíciles de entender para las computadoras sin un contexto visual. Puedo preguntar «¿Dónde lo compraste?» ¿Pero qué es? El asistente de voz no tiene idea de lo que estoy hablando. Con GazePointAR, las gafas observan el entorno que rodea al usuario y la aplicación rastrea la mirada del usuario y los movimientos de la mano. Luego, el modelo intenta comprender todo esto. entradas: la palabra, los movimientos de la mano y la mirada del usuario. Luego, con un Gran modelo de lenguajeGPT, intenta responder la pregunta.

¿Cómo percibe qué son los movimientos?

GL: Usamos unos auriculares llamados HoloLens 2 desarrollados por Microsoft. Tiene un rastreador de mirada que observa tus ojos e intenta adivinar lo que estás mirando. También tiene capacidad de seguimiento manual. Y en el documento que presentamos basado en eso, notamos que teníamos muchos problemas con esto. Por ejemplo, las personas no usan sólo un pronombre a la vez, sino varios pronombres. Diremos: «¿Qué es más caro, este o este«Para responder a eso, necesitamos información a lo largo del tiempo. Pero, nuevamente, puedes encontrarte con problemas de privacidad si quieres rastrear la mirada o el campo visual de alguien a lo largo del tiempo: ¿qué información almacenas y dónde se almacena? Y como tecnología mejora, definitivamente debemos prestar atención a estas preocupaciones de privacidad, especialmente en el campo de la visión por computadora.

Eso es difícil incluso para los humanos, ¿no? Puedo preguntar: «¿Puedes explicar esto?» Mientras señalas varias ecuaciones en la pizarra y no sabrás a qué me refiero. ¿Qué aplicaciones ves para esto?

GL: Será importante poder utilizar el lenguaje natural. Pero si extiende esto a la accesibilidad, alguien ciego o con discapacidad visual probablemente lo usaría para describir lo que le rodea. La pregunta «¿Hay algo peligroso delante de mí?» También ambiguo para el asistente de voz. Pero con GazePointAR, idealmente, el sistema podría decir: «Hay objetos potencialmente peligrosos, como cuchillos y tijeras». O las personas con discapacidad visual podrían dibujar una forma, señalarla y luego preguntar al sistema qué significa «esto» más específicamente.

Finalmente estás trabajando en un sistema llamado Arte. ¿Qué es y qué motivó esta investigación?

GL: Esto está más orientado al futuro que GazePointAR. ARTennis es un prototipo que utiliza unos auriculares AR para hacer que las pelotas de tenis sean más prominentes para los jugadores con discapacidad visual. La pelota en juego está marcada con un punto rojo y tiene una cruz de flechas verdes a su alrededor. El profesor John Froehlich tiene un familiar que quiere practicar deporte con sus hijos pero no tiene la visión necesaria para hacerlo. Pensamos que si funcionaba para el tenis, funcionaría para muchos otros deportes, ya que el tenis tiene una pelota pequeña que se encoge a medida que se aleja. Si podemos rastrear una pelota de tenis en tiempo real, podemos hacer lo mismo con una pelota de baloncesto más grande y más lenta.

Uno de los coautores del artículo tiene discapacidad visual y juega mucho al squash, y quería probar esta aplicación y brindarnos su opinión. Hicimos muchas sesiones de lluvia de ideas con él y probó el sistema. El punto rojo y las marcas verdes son un diseño que se le ocurrió para mejorar la sensación de percepción de profundidad.

¿Qué impide que esto sea algo que la gente pueda usar de inmediato?

GL: Bueno, al igual que GazePointAR, se basa en los auriculares HoloLens 2 de 3500 dólares. Este es un problema de accesibilidad diferente. También funciona a unos 25 fotogramas por segundo, y para que los humanos lo perciban en tiempo real, debe ser de unos 30 fotogramas por segundo. A veces no podemos captar la velocidad de una pelota de tenis. Ampliaremos el artículo e incluiremos el baloncesto para ver si hay diferentes diseños que la gente prefiere para diferentes deportes. La tecnología definitivamente será más rápida. Entonces nuestra pregunta es: ¿Qué diseño es mejor para las personas que lo usan?

Para obtener más información, comuníquese con John Froehlich en [email protected]yo en [email protected] Etcétera [email protected].