NieR（基於法線的光照場景渲染）是一個新穎的框架，旨在解決動態3D場景（特別是自駕車環境中）逼真光照模擬的關鍵挑戰。傳統的3D高斯潑濺方法雖然高效，但通常無法準確捕捉複雜的光線與材質交互作用，尤其是對於車輛等鏡面反射表面，導致模糊和過曝等視覺瑕疵。NieR引入了一種雙管齊下的方法：一個光照分解 (LD)模組，根據表面法線分離鏡面反射和漫反射；以及一個階層式法線梯度致密化 (HNGD)模組，動態調整高斯分佈的密度以保留細微的光照細節。此方法旨在彌合渲染速度與物理準確性之間的差距。
NieR框架透過整合基於物理的渲染 (PBR) 原理，強化了3D高斯潑濺技術。其核心創新在於將光線反射視為一個可分解的過程，並由幾何表面資訊（法線）引導。
LD模組重新定義了3D高斯潑濺中的色彩合成過程。它不再為每個高斯分佈使用單一的色彩屬性，而是將出射輻射亮度 $L_o$ 分解為鏡面反射 $L_s$ 和漫反射 $L_d$ 分量：
$L_o(\omega_o) = k_s \cdot L_s(\omega_o, \mathbf{n}) + k_d \cdot L_d(\mathbf{n})$
其中 $\omega_o$ 是視角方向，$\mathbf{n}$ 是表面法線，而 $k_s$、$k_d$ 是作為可學習屬性引入的、依材質而定的反射係數。鏡面反射分量被建模為法線和視角方向的函數，使其能夠捕捉視角相關的效果，例如車漆或濕滑路面上的高光。
標準的3D高斯潑濺使用固定或視角相關的致密化策略，這對於捕捉高頻光照細節可能效率不高。HNGD提出了一種幾何感知的致密化方法。它分析整個場景中表面法線的空間梯度 $\nabla \mathbf{n}$。法線梯度高的區域（例如物體邊緣、具有銳利高光的曲面）表示複雜的幾何形狀和光照交互作用。在這些區域，HNGD會自適應地增加高斯分佈的密度：
$D_{new} = D_{base} \cdot (1 + \alpha \cdot ||\nabla \mathbf{n}||)$
其中 $D_{new}$ 是新密度，$D_{base}$ 是基礎密度，$\alpha$ 是縮放因子，而 $||\nabla \mathbf{n}||$ 是法線梯度的大小。這確保了計算資源集中在視覺逼真度最需要的區域。
該框架建立在3D高斯潑濺管線之上。每個高斯分佈被賦予額外的屬性：一個表面法線 $\mathbf{n}$、一個鏡面反射係數 $k_s$ 和一個漫反射係數 $k_d$。渲染方程式修改如下：
$C = \sum_{i \in N} c_i \cdot \alpha_i \cdot \prod_{j=1}^{i-1}(1-\alpha_j)$
其中每個高斯分佈 $i$ 的色彩 $c_i$ 現在計算為 $c_i = k_{s,i} \cdot f_s(\mathbf{n}_i, \omega_o) + k_{d,i} \cdot f_d(\mathbf{n}_i, E_{env})$。這裡，$f_s$ 是鏡面反射BRDF近似（例如簡化的Cook-Torrance模型），$f_d$ 是漫反射函數，而 $E_{env}$ 代表環境光照資訊。法線 $\mathbf{n}_i$ 在訓練期間回歸得出，或從初始的運動恢復結構資料中推導。
該論文在包含動態物體和複雜光照（例如直射陽光、夜間車頭燈）的挑戰性自駕車資料集上評估了NieR。
視覺結果： 定性比較顯示，NieR顯著減少了車身上的「斑塊狀」瑕疵和過度平滑現象。它成功地渲染出銳利的鏡面高光，並在視角變化時準確呈現金屬表面的色彩偏移，而先前的方法則會模糊或完全錯失這些細節。HNGD模組有效地在邊緣和高曲率區域填充更多高斯分佈，從而產生更銳利的邊界和更細緻的光照過渡。
個案研究：渲染日落時的車輛
場景： 一輛紅色汽車處於低角度日落光線下，在其彎曲的引擎蓋和車頂上形成強烈、拉長的高光。
傳統3DGS的失敗模式： 平滑的高斯表示要麼會將高光擴散到一個大區域（失去銳利度），要麼無法正確模擬其強度，導致出現暗淡或色彩錯誤的斑塊。
NieR的處理過程：
核心洞見： NieR不僅僅是對高斯潑濺的漸進式調整；它是一次朝向幾何資訊化神經渲染的策略性轉向。作者正確地指出，像原始3DGS甚至NeRF變體這類純粹基於外觀的方法，其核心弱點在於對底層表面屬性的無知。透過將法線——一個來自古典圖形學的基本概念——重新引入作為一級公民，他們為模型提供了分離並正確模擬光照現象所需的幾何「骨架」。這讓人想起像CycleGAN（Zhu等人，2017）這樣的開創性工作如何使用循環一致性作為歸納偏置來解決不適定的圖像轉換問題；在這裡，法線和PBR分解充當了強大的物理先驗。
邏輯流程： 論文的邏輯是合理的：1) 問題：高斯分佈對於銳利光照過於平滑。2) 根本原因：它們缺乏材質和幾何感知能力。3) 解決方案A (LD)：使用法線分解光線以模擬材質響應。4) 解決方案B (HNGD)：使用法線梯度引導計算資源分配。5) 驗證：在這些因素最關鍵的任務（鏡面反射物體）上展示增益。從問題識別，透過雙解決方案架構，到針對性驗證的流程具有說服力。
優點與缺點：
可操作的見解： 對於研究人員來說，結論很明確：高保真神經渲染的未來在於將資料驅動的效率與強大的物理/幾何先驗相結合的混合模型。NieR的成功表明，下一個突破可能來自於更好地將其他古典圖形學基元（例如空間變化的BRDF、次表面散射參數）整合到可微分框架中。對於汽車模擬領域的業界從業者來說，這項工作直接解決了一個痛點——不真實的車輛渲染——使其成為整合到下一代數位孿生和測試平台的主要候選者。該框架的模組化意味著LD模組可以在其他渲染後端中獨立測試。
近期應用：
研究方向：