El metaverso está tomando forma en este momento, y Nvidia lo ha hecho todo, presentando un sólido conjunto de herramientas para construirlo. Pero incluso para un pionero de los gráficos como Nvidia, renderizar mundos en 3D es un desafío técnico complicado.
En su Conferencia de tecnología gráfica (GTC) de primavera esta semana, Nvidia demostró un nuevo enfoque para la representación inversa: el proceso de reconstrucción de escenas 3D a partir de un puñado de imágenes 2D. El renderizado inverso usa IA para aproximar cómo se comporta la luz en el mundo real. Con el enfoque desarrollado por el equipo de investigación de Nvidia, todo el proceso ocurre casi al instante.
El método, explicó Nvidia, podría aplicarse a una amplia gama de casos de uso. Podría usarse para crear avatares o escenas para mundos virtuales, para capturar participantes de videoconferencias y sus entornos en 3D, o para reconstruir escenas para mapas digitales en 3D.
El uso de métodos tradicionales para crear una escena 3D puede llevar horas o más, según la complejidad y la resolución de la visualización. Una nueva tecnología popular llamada campos de radiación neuronal (NeRF) utiliza IA para acelerar el proceso. Los NeRF usan redes neuronales para representar y renderizar escenas 3D realistas basadas en una colección de entrada de imágenes 2D. Un NeRF entrena efectivamente una pequeña red neuronal para llenar los espacios en blanco al predecir el color de la luz que se irradia en cualquier dirección desde cualquier punto en el espacio 3D.
Los primeros modelos NeRF han producido representaciones de calidad en unos pocos minutos, pero han tardado horas en entrenarse. Nvidia Research ha desarrollado lo que llama Instant NeRF, que combina el entrenamiento rápido de redes neuronales con la renderización rápida. Es la técnica NeRF más rápida hasta la fecha, dice Nvidia, logrando más de 1000x aceleraciones en algunos casos.
Para desarrollar Instant NeRF, Nvidia ideó un nuevo método de codificación de entrada llamado codificación hash grid de resolución múltiple. Está optimizado para funcionar de manera eficiente en GPU Nvidia.
«NeRF instantáneo podría ser tan importante para 3D como las cámaras digitales, y la compresión JPEG lo ha sido para la fotografía 2D, lo que aumenta enormemente la velocidad, la facilidad y el alcance de la captura y el uso compartido en 3D», dijo David Luebke, vicepresidente de investigación de gráficos de Nvidia, en una declaración.
