A nova magia de IA da Nvidia transforma fotos 2D em gráficos 3D

A Nvidia fez outra tentativa de adicionar profundidade aos gráficos superficiais.

Depois de converter imagens 2D em 3D cenas, modelose vídeosa empresa voltou seu foco para a edição.

A gigante da GPU revelou hoje um novo método de IA que transforma fotos estáticas em objetos 3D que os criadores podem alterar com facilidade.

Assine nossa newsletter agora para uma recapitulação semanal de nossas histórias de IA favoritas em sua caixa de entrada.

Apelidada de 3D MoMa, a técnica pode dar aos estúdios de jogos uma maneira simples de alterar imagens e cenas. Isso normalmente depende de fotogrametria demorada, que faz medições de fotos.

O 3D MoMa acelera a tarefa através da renderização inversa. Esse processo usa IA para estimar os atributos físicos de uma cena – da geometria à iluminação – analisando imagens estáticas. As imagens são então reconstruídas em uma forma 3D realista.

David Luebke, vice-presidente de pesquisa gráfica da Nvidia, descreve a técnica como “um santo graal unificando visão computacional e computação gráfica”.

“Ao formular cada parte do problema de renderização inversa como um componente diferenciável acelerado por GPU, o pipeline de renderização NVIDIA 3D MoMa usa o maquinário da IA ​​moderna e a potência computacional bruta das GPUs NVIDIA para produzir rapidamente objetos 3D que os criadores podem importar, editar, e estender sem limitação nas ferramentas existentes”, disse Lubeke.

O 3D MoMa gera objetos como malhas triangulares — um formato fácil de editar com ferramentas amplamente utilizadas. Os modelos são criados em uma hora em uma única GPU NVIDIA Tensor Core.

Os materiais podem então ser sobrepostos nas malhas como peles. A iluminação da cena também está prevista, o que permite aos criadores modificar seus efeitos sobre os objetos.

As malhas triangulares definem as formas usadas em gráficos e modelagem 3D.
As malhas triangulares definem as formas usadas em gráficos e modelagem 3D. Crédito: Nvidia

O 3D MoMa foi apresentado no evento desta semana Conferência de Visão Computacional e Reconhecimento de Padrões (CVPR) em Nova Orleans. Em homenagem ao berço do jazz, os pesquisadores da Nvidia usaram a técnica para renderizar visualmente o gênero musical.

A equipe primeiro coletou centenas de fotos de trompetes, trombones, saxofones, baterias e clarinetes. Em seguida, o 3D MoMa reconstruiu as imagens em representações 3D.

Os instrumentos foram então editados e receberam novos materiais. O trompete, por exemplo, foi transformado de plástico barato em ouro luxuoso.

Os instrumentos recém-editados estavam então prontos para serem colocados em qualquer cena virtual. A Nvidia os colocou em uma caixa Cornell, que é usada para testar a qualidade da renderização.

A empresa diz que todos os instrumentos reagiram à luz como fariam no mundo real, desde os instrumentos de metal refletindo brilhantemente até as peles da bateria absorvendo a luz.

Finalmente, os objetos 3D foram renderizados em uma cena animada.

O 3D MoMa continua em desenvolvimento, mas a Nvidia acredita que pode permitir que desenvolvedores de jogos e outros designers modifiquem rapidamente objetos 3D – e depois os adicionem a qualquer cena virtual.

Isso também poderia facilitar nossa metamorfose em formas de metaverso.

Você pode ler o documento de estudo por trás do 3D MoMa aqui.


Source: The Next Web by thenextweb.com.

*The article has been translated based on the content of The Next Web by thenextweb.com. If there is any problem regarding the content, copyright, please leave a report below the article. We will try to process as quickly as possible to protect the rights of the author. Thank you very much!

*We just want readers to access information more quickly and easily with other multilingual content, instead of information only available in a certain language.

*We always respect the copyright of the content of the author and always include the original link of the source article.If the author disagrees, just leave the report below the article, the article will be edited or deleted at the request of the author. Thanks very much! Best regards!