MIT.nano Immersion Lab Gaming Program Awards 2020 Seed Grants | Noticias del MIT



MIT.nano anunció su segunda subvención inicial anual para apoyar la investigación de hardware y software relacionada con sensores, interacción y análisis 3D / 4D, realidad aumentada y virtual (AR / VR ) y juegos. Las subvenciones se otorgan en el marco del programa de juegos MIT.nano Immersion Lab, una colaboración de cuatro años entre MIT.nano y la empresa de desarrollo de videojuegos NCSOFT, miembro fundador del consorcio MIT.nano.

"Estamos encantados de otorgar siete becas este año para apoyar la investigación que dará forma a la forma en que las personas interactúan con el mundo digital y entre sí", dijo Brian W. Anthony, director asociado de MIT.nano. “El programa de juego MIT.nano Immersion Lab fomenta la colaboración cruzada entre disciplinas. Juntos, músicos e ingenieros, artistas escénicos y científicos de datos trabajarán para cambiar la forma en que los humanos piensan, estudian, interactúan y juegan con los datos y la información. "

El MIT.nano Immersion Lab es un nuevo espacio inmersivo de dos pisos dedicado a visualizar, comprender e interactuar con macrodatos o entornos creados por el hombre, y medir el movimiento y los mapas del mundo en escala humana. Equipado con equipos y herramientas de software para captura de movimiento, fotogrametría y visualización, la instalación está disponible para investigadores y educadores interesados ​​en usar y crear nuevas experiencias, incluidos proyectos de donaciones semilla.

Este año, se han seleccionado los siguientes siete proyectos para recibir subvenciones iniciales.

Mohammad Alizadeh: un sistema de teleconferencia neuronal

Con el fin de mejorar los sistemas de teleconferencia que a menudo sufren de mala calidad debido a la congestión de la red, el profesor asociado del Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) Mohammad Alizadeh sugiere usar el sistema. inteligencia artificial para crear un sistema neuronal mejorado.

Este proyecto, co-estudiado por los profesores de EECS Hari Balakrishnan, Fredo Durand y William T. Freeman, utiliza modelos de generación de imágenes faciales específicos de la persona para manejar las condiciones deterioradas de la red. Antes de una sesión, los participantes intercambian sus modelos generativos personalizados. Si la red está congestionada durante la sesión, los clientes usan estos modelos para reconstruir videos de alta calidad de cada persona a partir de codificación de video de baja tasa de bits o solo su audio.

El equipo cree que si tiene éxito, esta investigación podría ayudar a abordar el gran desafío de los cuellos de botella de la red que impactan negativamente la enseñanza y el aprendizaje. experiencias remotas, de realidad virtual y juegos multijugador en línea.

Luca Daniel: modelos inspirados en la danza para representar la intención

Los bailarines tienen una habilidad asombrosa para representar la intención y las emociones de manera muy clara y poderosa usando sus cuerpos. El profesor de EECS, Luca Daniel, junto con el investigador de ingeniería mecánica Micha Feigin-Almon, tienen como objetivo estudiar y generar un marco de modelado que explique y capture cómo los bailarines comunican su intención y emociones a través de sus movimientos.

Esta es la segunda subvención de puesta en marcha de NCSOFT otorgada a Daniel y Feigin, quienes recibieron financiamiento en la fase inaugural de 2019. En el último año han utilizado el equipo de captura de herramientas de software de laboratorio de movimiento e inmersión para estudiar cómo los movimientos de bailarines entrenados difieren de los de individuos no entrenados. Las investigaciones indican que los bailarines entrenados producen movimientos elegantes al almacenar y recuperar de manera eficiente la energía elástica de sus músculos y tejidos conectivos.

Daniel y Feigin ahora están formalizando su Modelo de Estabilización de Estiramiento del Movimiento Humano, que tiene una amplia aplicabilidad en juegos, atención médica, robótica y neurociencia. Es especialmente interesante generar trayectorias de movimiento elegantes y realistas para personajes de realidad virtual.

Frédo Durand: renderizado inverso para infografías fotorrealistas y avatares digitales

El campo de la infografía ha creado algoritmos avanzados para simular imágenes, a partir de un modelo 3D de una escena. Sin embargo, el realismo de la imagen final es tan bueno como el modelo de entrada, y crear escenas 3D sofisticadas sigue siendo un gran desafío, especialmente en el caso de los humanos digitales.

Frédo Durand, profesor de informática Amar Bose en EECS, se esfuerza por mejorar los modelos 3D para satisfacer todos los fenómenos de iluminación y reproducir fielmente escenas reales y humanas mediante el desarrollo Técnicas de renderizado inverso para generar modelos 3D fotorrealistas a partir de fotografías de entrada. El resultado final podría ayudar a crear avatares digitales atractivos para juegos o videoconferencias, replicar escenas para telepresencia o crear entornos ricos y realistas para videojuegos.

Jeehwan Kim: Rastreador de movimiento AR / VR imperceptible a largo plazo sin controlador electrónico basado en piel

Los dispositivos de entrada más utilizados para las interacciones AR / VR son los controladores portátiles, que son difíciles de manejar para los nuevos usuarios e incómodos de sostener, lo que interrumpe las experiencias inmersivas. El profesor asociado de ingeniería mecánica Jeehwan Kim ofrece hardware electrónico de seguimiento del movimiento humano (e-skin) basado en la piel que puede adherirse imperceptiblemente a la piel humana y detectar con precisión el movimiento humano mediante marcadores ópticos y sensores de deformación conformes a la piel.

El e-skin de Kim permitiría la detección y captura de movimientos humanos muy sutiles, lo que ayudaría a mejorar la precisión de la experiencia AR / VR y facilitaría una inmersión más profunda del usuario. Además, la integración de marcadores LED, sensores de tensión y sensores EP en el e-skin se combinarán para proporcionar un seguimiento de un amplio rango de movimiento, desde movimientos de articulaciones hasta los de las superficies de la piel, así como los cambios emocionales.

Will Oliver: Arcade Qubit

Qubit Arcade, la experiencia de computación cuántica de realidad virtual del MIT, enseña los fundamentos de la computación cuántica a través de una demostración de realidad virtual. Los usuarios pueden crear esferas de Bloch, controlar estados de qubit, medir resultados y componer circuitos cuánticos en una representación 3D, con una pequeña selección de puertas cuánticas.

En esta siguiente fase, el profesor asociado de EECS Will Oliver, junto con los co-investigadores Chris Boebel, director de desarrollo de medios de aprendizaje abierto del MIT y desarrollador de realidad virtual Luis Zanforlin, apuntan a transformar Qubit Arcade como herramienta educativa multijugador ludificada que se puede utilizar en un aula o en casa, en la plataforma Oculus Quest. Su proyecto incluye agregar puertas cuánticas adicionales al constructor de circuitos y modelar el paralelismo cuántico y la interferencia, características fundamentales de los algoritmos cuánticos.

El equipo cree que las lecciones aprendidas de la aplicación educativa de Qubit Arcade tienen el potencial de ser aplicadas a una variedad de otros temas que involucran visualizaciones abstractas, modelado matemático y diseño de circuitos.

Jay Scheib: ópera de aumento: "Parsifal"

El trabajo del profesor Jay Scheib, profesor de música y arte teatral, tiene como objetivo hacer de la ópera y el teatro un evento más inmersivo mediante la integración de tecnología y técnicas cinematográficas en vivo con formas teatrales. En sus producciones, el público experimenta dos capas de realidad: la realización de la actuación y la actuación en sí, a través de la producción en vivo y la transmisión simultánea.

El plan actual de Scheib es crear una producción utilizando técnicas de AR que usarían la tecnología de Realidad Extendida (XR) existente, como efectos de video en vivo y efectos especiales en vivo procesados ​​en tiempo real y proyectados sobre una superficie. o en cascos. Tiene la intención de desarrollar un prototipo XR para una actuación en vivo aumentada de la ópera "Parsifal" de Richard Wagner mediante el uso de motores de juego para el procesamiento de efectos visuales en en tiempo real en entornos de actuación en directo.

Justin Solomon: IA para el diseño de activos virtuales utilizables

Los mundos virtuales, los videojuegos y otros entornos digitales en 3D se basan en enormes colecciones de activos: modelos en 3D de los objetos, paisajes y personajes que habitan cada escena. Los artistas y diseñadores de juegos utilizan herramientas de modelado especializadas y difíciles de usar para diseñar estos activos, mientras que los no expertos se limitan a interfaces rudimentarias de mezcla y combinación que combinan piezas simplistas y prediseñadas.

El profesor asociado de EECS, Justin Solomon, busca democratizar la creación de contenido en mundos virtuales mediante el desarrollo de herramientas de inteligencia artificial para el diseño de activos virtuales. En este proyecto, Solomon explora el diseño de algoritmos que aprenden de los conjuntos de datos existentes de modelos 3D creados por expertos para ayudar a los usuarios no expertos a aportar objetos a entornos 3D. Visualiza un conjunto de herramientas flexible para producir activos a partir de una guía de usuario de alto nivel, con estructura y detalles de piezas variables.

Deja un comentario