La síntesis de visualización dinámica es el proceso de reconstruir escenas 3D dinámicas a partir de vídeos capturados y crear una reproducción virtual inmersiva. Este proceso ha sido un problema de investigación de larga data en visión por computadora y gráficos, y es muy prometedor en los campos de la realidad virtual/realidad aumentada, la retransmisión deportiva y la captura de actuaciones artísticas.

Los métodos tradicionales para representar escenas dinámicas 3D utilizan secuencias de malla texturizada, pero estos métodos son complejos y costosos desde el punto de vista computacional, lo que los hace poco prácticos para aplicaciones en tiempo real.

Recientemente, algunos enfoques han producido excelentes resultados en lo que respecta a la síntesis de visualización dinámica, mostrando una excelente calidad de visualización. Sin embargo, un área que aún deben mejorar es la latencia al mostrar imágenes de alta calidad. Este artículo presenta investigaciones 4K4D, Representación en la nube 4D que admite rasterización de hardware y permite una renderización rápida.

4K4D representa escenas 3D basadas en una cuadrícula de características 4D, es decir, como un vector de cuatro características. Esta representación hace que los puntos de la cuadrícula sean regulares y más fáciles de optimizar. El modelo primero representa la geometría y la forma de los objetos en el vídeo de entrada utilizando un algoritmo de escultura espacial y una red neuronal para aprender a representar la escena 3D desde la nube de puntos. Luego se desarrolla un algoritmo de pelado de profundidad diferencial para mostrar la representación de la nube de puntos y se aprovecha un rasterizador de hardware para mejorar la velocidad de renderizado.

Para mejorar la velocidad de visualización, se aplican las siguientes técnicas de aceleración:

• Algunos parámetros del modelo se calculan previamente y se almacenan en la memoria, lo que permite que la tarjeta gráfica represente la escena más rápido.
• La resolución del modelo se redujo de 32 bits flotantes a 16 bits flotantes. Esto aumenta el FPS en 20 sin ninguna pérdida evidente de rendimiento.
• Finalmente, se ha reducido la cantidad de renderizados necesarios para el algoritmo de pelado en profundidad, lo que también da como resultado un aumento de 20 fps sin ningún cambio obvio en la calidad.

Los investigadores evaluaron el rendimiento de 4K4D en múltiples conjuntos de datos, como DNA-Rendering, ENeRF-Outdoor, etc. El método del investigador para renderizar escenas 3D se puede demostrar a más de 400 fps a 1080p en el conjunto de datos anterior y a 80 fps a 4K en el conjunto de datos anterior. último. Esto es 30 veces más rápido que el método de renderizado dinámico en tiempo real ENaRF de última generación, que también tiene una calidad de renderizado superior. El conjunto de datos ENoRF Outdoor es bastante difícil y cuenta con múltiples actores. El 4K4D aún pudo ofrecer mejores resultados en comparación con los otros modelos, que produjeron resultados borrosos y mostraron artefactos negros alrededor de los bordes de la imagen en algunas pantallas.

En conclusión, 4K4D es un nuevo método que tiene como objetivo abordar el problema de la velocidad de renderizado lenta cuando se trata de ajuste de renderizado en tiempo real de escenas 3D dinámicas en resolución 4K. Es una representación de nodos neuronales basada en la nube que logra una calidad de renderizado de última generación y muestra un aumento de más de 30 veces en la velocidad de renderizado. Sin embargo, existen algunas limitaciones, como los altos requisitos de almacenamiento de vídeos largos y el establecimiento de correspondencias rasterizadas entre fotogramas, que los investigadores planean abordar en trabajos futuros.

Comprobar el papel Y proyecto. Todo el crédito por esta investigación va a los investigadores de este proyecto. Tampoco olvides unirte. Tenemos más de 31k ML SubReddit, Más de 40.000 comunidades de Facebook, canal de discordia, Y Boletín electrónicodonde compartimos las últimas noticias sobre investigaciones de IA, interesantes proyectos de IA y más.

Si te gusta nuestro trabajo, te encantará nuestro boletín.

También estamos en WhatsApp. Únete a nuestro canal de inteligencia artificial en WhatsApp.