爵士樂的精髓在于即興演奏， NVIDIA 正在通過 AI 研究向這一流派致敬。也許有一天，圖形創作者可以使用快速創建出的 3D 物體，來一場即興表演。
這個被稱為“NVIDIA 3D MoMa”的方法可以讓建筑師、設計師、概念藝術家和游戲開發者迅速將物體導入圖形引擎，并開始對其進行處理——修改比例、改變材質或嘗試不同的照明效果。
NVIDIA Research 在慶祝爵士樂及其發源地新奧爾良的視頻中展示了這項技術。本周，關于 3D MoMa 的論文將在 CVPR 上發表。
基于 2D 圖像創建 3D 物體
逆渲染是將一系列靜態照片重建為 3D 物體或場景模型的技術。NVIDIA 圖形學研究副總裁 David Luebke 表示：“該技術長期以來一直是統一計算機視覺和計算機圖形學的關鍵。”
他表示：“NVIDIA 3D MoMa 渲染流水線可以將逆渲染問題的每個部分表示為 GPU 加速的可微分組件，然后使用現代 AI 機器和 NVIDIA GPU 的原始算力快速生成 3D 物體，且創作者可以在現有工具中自由地導入、編輯和擴展這些物體?！?/p>
為了使藝術家或工程師能夠充分利用 3D 物體，其形式應能夠導入游戲引擎、 3D 建模器和電影渲染器等各種被廣泛使用的工具。帶有紋理、材質的三角網格形式，就是此類 3D 工具使用的通用語言。
三角網格是用于定義 3D 圖形和建模形狀的基本框架。
游戲工作室和其他創作者習慣于使用復雜的攝影測量技術來創建 3D 物體，這需要耗費大量的時間和精力。近期的神經輻射場（Neural Radiance Fields）研究可以快速生成物體或場景的 3D 模型，但并不是使用易于編輯的三角網格形式。
當在單個 NVIDIA Tensor Core GPU 上運行時， NVIDIA 3D MoMa 能在一個小時內生成三角網格模型。該流水線的輸出結果與創作者現在使用的 3D 圖形引擎和建模工具直接兼容。
流水線的重建功能包括 3D 網格模型、材質和照明。網格就像由三角形構建的 3D 形狀混凝紙漿模型。有了它，開發者就可以依照自己的創意對物體進行修改。材質是疊加在 3D 網格上的 2D 紋理，就像人的皮膚一樣。NVIDIA 3D MoMa 通過對場景光線進行估算，使創作者能夠在日后修改物體上的照明。
為虛擬爵士樂隊調校樂器
為了展示 NVIDIA 3D MoMa 的功能， NVIDIA 的研究和創意團隊首先從不同角度收集了五種爵士樂隊樂器（小號、長號、薩克斯、架子鼓和單簧管）的約 100 張圖片。
NVIDIA 3D MoMa 將 2D 圖像重建為每種樂器的 3D 表示，并以網格形式呈現。然后， NVIDIA 團隊將這些樂器從原始場景中取出，并將其導入 NVIDIA Omniverse 3D 模擬平臺中進行編輯。
在任何傳統圖形引擎中，創作者都可以輕松為形狀調換由 NVIDIA 3D MoMa 生成的材質，就像給網格穿上不同的衣服一樣。例如該團隊對小號模型采取了這種做法，將原來的塑料材質快速更換成黃金、大理石、木材或軟木。
然后，創作者可以將新編輯的物體放入任何虛擬場景中。NVIDIA 團隊將這些樂器放入了經典的圖形渲染質量測試康奈爾盒中。他們證明了虛擬樂器對光線的反應與在物理世界中完全一樣：閃亮的銅管樂器反射出亮光，啞光的鼓皮則會吸收光線。
這些通過逆渲染生成的新物體可以作為復雜動畫場景的構成要素。視頻的最后展示了虛擬爵士樂隊。