最近，何潤-紐倫堡大學的學者提出了一種新的神經(jīng)網(wǎng)絡(luò)方法，用于3D圖像的場景細化和新視圖合成。只需要輸入點云的初始估計和相機參數(shù)，就可以輸出任意相機角度合成的圖像，360度旋轉(zhuǎn)不成問題。
研究人員表示，高效的單像素光柵化使他們能夠?qū)崟r顯示超過1億像素的點云場景。
一億像素是什么概念？說白了，這些3D圖像太逼真了，跟拍照沒什么區(qū)別。
這項研究最近在推特上受到了很多關(guān)注，網(wǎng)友們紛紛回應(yīng):印象深刻！同時，也有網(wǎng)友表示，這項研究確實利用了點云的大規(guī)模動態(tài)輸入，這本來就是一個“超級難”的問題。
如下圖所示，給定一組RGB圖像和初始3D重建(左)，這種渲染方法可以合成新的幀并優(yōu)化場景參數(shù)。
紙張地址:
使用神經(jīng)網(wǎng)絡(luò)自動學習和合成高清3D圖像已經(jīng)取得了成效，但之前很難實現(xiàn)大的動態(tài)視角變化。他們是怎么做到的？
一個
秘密:點云輸入和可微優(yōu)化
合成真實感虛擬環(huán)境是計算機圖形學和計算機視覺研究的熱點領(lǐng)域之一。
其中，3D形狀的編碼形式是非常關(guān)鍵的一部分。人們通常會考慮三角形網(wǎng)格、體素網(wǎng)格、隱函數(shù)和點云，每種表示法都有各自的優(yōu)缺點。
從左到右，有點云、體素和三角網(wǎng)格形式的兔子3D圖像。
為了有效地渲染不透明的表面，人們通常選擇三角形網(wǎng)格。
體素網(wǎng)格常用來表示容量，而隱函數(shù)則適用于精確描述非線性分析曲面(例如A ^ 2+B ^ 2+C ^ 2 = 1為單位球面。
另一方面，點云具有易于使用的優(yōu)點，因為它不需要考慮拓撲屬性，作為三維圖像合成的中間輸出階段非常方便。不考慮拓撲性質(zhì)，就是說不管是環(huán)還是球，它的表示都是一樣的。
2000年左右，點云渲染，尤其是點離散，在計算機圖形學中得到了廣泛的研究。
與此同時，基于圖像的繪制技術(shù)越來越受到人們的重視。也就是說，基于粗略的和重建的3D模型以及一組現(xiàn)有的對象圖像，合成新的視圖。
這些方法存在輸入不準確的問題，例如，如果幾何圖形包含孔洞或輸入圖像沒有完全對齊，則會出現(xiàn)偽影。
基于神經(jīng)圖像的渲染方法使用神經(jīng)網(wǎng)絡(luò)來去除這些偽影，可以生成前所未有的高質(zhì)量新視圖，如同照片一樣逼真。
Aliev等人表明，將傳統(tǒng)的點光柵化器與深度神經(jīng)網(wǎng)絡(luò)配對也是可行的。
這一發(fā)現(xiàn)對于3D重建尤其有利，因為它通常使用密集的點云作為初始輸出。因此，我們可以跳過不必要的三角剖分，直接可視化重建的場景。
本文中，研究者的方法基于Aliev等人的流水線，并在許多方面進行了改進。
如上圖所示，由紋理點云和環(huán)境圖組成的場景被柵格化成一組多分辨率的稀疏神經(jīng)圖像。
用深度神經(jīng)網(wǎng)絡(luò)重建HDR圖像。
然后通過基于物理學的可微分色調(diào)映射器將其轉(zhuǎn)換成給定新視點場景的LDR圖像。
在訓練階段，可以同時優(yōu)化矩形框和神經(jīng)網(wǎng)絡(luò)中的所有參數(shù)。
在整個流水線中，他們特別添加了一個物理可微的相機模型和一個可微的色調(diào)映射器，并提出了一個公式來更好地近似單像素光柵化的空間梯度。
可微性的優(yōu)點是不僅可以優(yōu)化神經(jīng)點的特征，還可以在訓練階段糾正不準確的輸入。
因此，系統(tǒng)可以根據(jù)神經(jīng)渲染網(wǎng)絡(luò)的視覺損失來調(diào)整這些參數(shù):
相機型號
攝像機角度
點云位置
點云顏色
環(huán)境測繪
渲染網(wǎng)絡(luò)權(quán)重
淡出
相機響應(yīng)功能
每個圖像的曝光和白平衡
畫
得益于此，圖像的渲染質(zhì)量得到了顯著提高。
此外，這種方法可以合成任意高動態(tài)范圍成像(HDR，即大曝光變化)和LDR(低動態(tài)范圍成像，容易丟失圖像細節(jié))設(shè)置，修正曝光不足或曝光過度的視圖(如下圖所示)。
與此同時，深度神經(jīng)網(wǎng)絡(luò)中的參數(shù)數(shù)量也顯著減少，因為亮度和顏色變化是由物理上正確的傳感器模型單獨處理的。
如下表所示，與其他可微分渲染器相比，該方法的效率大約高出兩個數(shù)量級。
表一:1920×1080圖像在RTX 2080ti上正反向渲染時間(毫秒)。
因此，提高了渲染性能，并減少了過擬合偽影。
綜上所述，本文的研究成果如下:
用于場景細化和可視化的端到端可訓練的基于點的神經(jīng)渲染管道。
一種使用偽影幾何概念的用于單個像素點片段的差分光柵化器。
一個基于物理的可區(qū)分色調(diào)映射器，可以模擬數(shù)碼攝影鏡頭和傳感器的效果。
大規(guī)模點云高效多層渲染的隨機點丟棄技術(shù)。
最后，這項研究是開源的:
二
管道的詳細說明
下面詳細介紹一下模型管道。
它通過使用相機參數(shù)將每個點投影到圖像空間中，并將其呈現(xiàn)為單個像素大小的片段。
如果像素通過測試，它將在神經(jīng)網(wǎng)絡(luò)的輸出圖像中占據(jù)一個描述符。所有未被點著色的像素都用背景色填充。
因為我們將點渲染為單個像素大小的片段，所以輸出圖像可能非常稀疏，這取決于點云的空間分辨率和相機距離。
因此，以不同的比例渲染多個層會使輸出圖像變得密集，并處理遮擋和光照問題。
它由一個四層全卷積U-Net和跳連接組成，其中分辨率較低的輸入圖像連接到中間特征張量。通過平均池執(zhí)行下采樣，通過雙線性插值對圖像進行上采樣。
研究人員主要使用門控卷積，它最初是為了填補孔洞而開發(fā)的，因此非常適合稀疏點輸入。
總的來說，網(wǎng)絡(luò)架構(gòu)類似于Aliev等人提出的網(wǎng)絡(luò)架構(gòu)，只是減少了一層并做了一些修改以支持HDR成像。
首先，去除批標準化層，因為它們將中間圖像的平均值和標準偏差標準化為固定值。這將導致總傳感器輻照度(類似于光強度的概念)損失，并且它不能從3D點傳播到最終圖像。
此外，如果場景的亮度范圍相當大(大于1: 400)，則神經(jīng)點描述符以對數(shù)方式存儲。否則，神經(jīng)描述符將被線性存儲。對于對數(shù)描述符，它們在柵格化過程中被轉(zhuǎn)換到線性空間，從而在卷積運算中僅使用線性亮度值。
色調(diào)映射器模擬數(shù)碼相機的物理鏡頭和傳感器特性。因此，它最適合捕捉智能手機、數(shù)碼單反相機和攝像機的LDR圖像。
三
限制
雖然合成效果如此驚人，但研究人員也在實驗中發(fā)現(xiàn)了一些局限性。
局限性之一是，由于不同參數(shù)的數(shù)量巨大，因此不容易找到合適的超參數(shù)。需要平衡紋理顏色、結(jié)構(gòu)參數(shù)、色調(diào)映射設(shè)置和神經(jīng)網(wǎng)絡(luò)權(quán)重的學習速率。為了找到適合所有場景的可行設(shè)置，需要進行廣泛的網(wǎng)格搜索。
另一個限制是對于中到大的學習速率，點位置的優(yōu)化是不穩(wěn)定的。因此，管道需要一個合理的初始點云，例如，通過多視圖立體系統(tǒng)或激光雷達掃描儀。
研究人員認為，這個問題是光柵化過程中的梯度近似造成的。它適用于相機模型和相機角度優(yōu)化，因為成千上萬個點的空間梯度在一個優(yōu)化器步驟中被平均。然而，對于位置點梯度，僅使用單個近似梯度來更新其坐標。因此，需要非常低的學習速率來平均點梯度隨時間的變化。
最后，由于單像素點渲染，當相機離物體太近或點云非常稀疏時，可能會出現(xiàn)孔洞。這是因為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)只能填充具有一定大小閾值的孔洞。在實驗中，研究人員通過人為增加點密度來減少這一問題。然而，這并不是一個普遍可行的解決方案，因為在自由視圖環(huán)境中，用戶仍然可以任意移動相機以接近對象的表面。研究人員表示，他們未來的工作應(yīng)該從這里開始。例如，他們可以嘗試在放大過程中使用插值神經(jīng)描述符動態(tài)生成新點。