基於相機之飛時測距感測器光學效應模擬與分析程序

1. 簡介

基於相機的飛時測距感測器透過主動照明提供逐像素深度資訊，徹底改變了3D感知領域。本文旨在解決一個關鍵缺口：在進行昂貴的實體原型製作之前，需要一個穩健的模擬框架來預測感測器效能、理解複雜的光學現象，並指導硬體設計。作者提出了一套程序，超越了簡化的模型，以捕捉真實世界光學交互作用的複雜性。

2. 飛時測距原理

飛時感測器透過計算光的往返時間來測量距離。主要有兩種主導技術：

2.1 直接飛時測距 (D-ToF)

直接測量短光脈衝的時間延遲。它提供高精度，但由於需要GHz速度的電子元件和極短的積分時間（例如，1.5公尺對應10 ns），導致訊噪比偏低。

2.2 基於相關性的飛時測距 (C-ToF/P-ToF)

消費性裝置中的主流方法。它使用振幅調變連續波光源。距離是從發射訊號與接收訊號之間的相位偏移（$\phi$）推導而來。深度（$d$）計算公式為：$d = \frac{c \cdot \phi}{4 \pi f_{mod}}$，其中 $c$ 為光速，$f_{mod}$ 為調變頻率。此方法在MHz範圍內運作，放寬了電子元件的要求，但在距離超過調變波長時會引入模糊性。

3. 提議之模擬程序

核心貢獻是一個將光學路徑長度視為深度計算主參數的模擬流程。

3.1 基於光線追蹤之光學路徑長度方法

此方法並非模擬電訊號，而是追蹤從光源（例如VCSEL）出發、穿過場景（包括多次反射、散射和半透明材質）、並進入感測器鏡頭的每一道光線。每道光線的總光學路徑長度計算為 $OPL = \int n(s) \, ds$，其中 $n$ 為折射率，$s$ 為幾何路徑。此OPL直接關聯到飛時。

3.2 於 Zemax OpticStudio 與 Python 中之實作

光學傳播與鏡頭效應（失真、像差）在 Zemax OpticStudio 中模擬。包含光線數據和OPL的結果會被匯出，並在 Python 環境中處理。Python 負責處理場景幾何、材質屬性、感測器建模（例如PMD像素響應）以及最終的相關性/深度計算，創造了一個靈活且可擴展的工作流程。

3.3 支援之光學效應

• 多路徑干擾 (MPI)： 模擬在到達感測器前於多個物體間反彈的光線，這是深度誤差的主要來源。
• 半透明材質： 模擬物體（如塑膠或皮膚）內的次表面散射。
• 鏡頭像差： 納入真實鏡頭失真，這些失真會使光學訊號在像素間擴散。
• 延伸與多重光源： 準確模擬複雜的照明模式，而不僅是點光源。

4. 技術細節與數學基礎

基於相關性的飛時像素深度值 $z$，是從四個相關樣本（$A_0$, $A_1$, $A_2$, $A_3$）的相位偏移推導而來，這些樣本通常以90度相位偏移擷取：

$$\phi = \arctan\left(\frac{A_3 - A_1}{A_0 - A_2}\right)$$

$$z = \frac{c}{4\pi f_{mod}} \phi$$

模擬透過在像素的積分時間內，對受模擬光學路徑延遲調變的入射光功率進行積分，來產生這些相關樣本 $A_i$。到達像素的光線束之光功率，會根據其模擬強度與路徑長度進行加權。

5. 實驗結果與展示

本文在一個簡單的3D測試場景上展示了此程序。雖然提供的摘要未詳述具體的定量誤差指標，但展示內容可能包括：

• 真實值 vs. 模擬深度圖： 視覺與定量比較，顯示模擬在重現深度值方面的準確性。
• 失真視覺化： 突顯多路徑干擾導致深度測量錯誤（例如，角落或半透明物體後方的深度誤差）的影像。
• 鏡頭失真的影響： 說明非理想光學元件如何模糊深度邊緣並降低有效解析度。

圖表意涵： 成功的展示應能顯示模擬深度誤差與實體感測器觀看同一場景所測得誤差之間的高度相關性，從而驗證模型對於有問題之光學條件的預測能力。

6. 分析框架：核心洞見與邏輯流程

核心洞見： 本文的根本突破並非新演算法，而是飛時模擬的哲學轉變。他們不再將感測器視為具有理想深度輸出功能的黑盒子，而是首先將其建模為一個物理光學系統。「以光學路徑長度為主參數」的方法迫使模擬遵循幾何光學定律，使其成為一個基於第一原理的工具，而非擬合模型。這類似於電腦圖學中從經驗式影像處理轉向基於物理的渲染之轉變。

邏輯流程： 作者的論證是有條理的：1) 確認真實世界的光學效應（MPI、散射）是飛時準確性的主要限制因素。2) 論證現有的電學或簡化光學模型無法捕捉這些效應。3) 提出光線追蹤框架作為能夠捕捉這些效應的、複雜度最低的解決方案。4) 透過展示其能模擬困擾真實感測器的效應來進行驗證。此邏輯具有說服力，因為它從問題根源著手。

7. 優點、缺點與可行洞見

優點：

• 對棘手失真的預測能力： 這是其殺手級功能。透過捕捉MPI和散射，它能在製造感測器之前預測複雜場景（例如室內角落、汽車內裝）中的深度誤差，節省數百萬的設計迭代成本。
• 工具鏈無關性： 使用 Zemax 和 Python 使其易於取得。此概念可移植到 Blender/Cycles 或 NVIDIA OptiX，以實現更快的GPU加速光線追蹤。
• AI訓練的基礎： 它可以產生大量、帶有完美標籤的深度圖及對應誤差圖資料集——這對於訓練AI模型來校正飛時誤差而言是黃金資源，類似於 CycleGAN 風格網路學習領域轉換的方式。

明顯缺點與遺漏：

• 計算成本黑盒子： 本文對執行時間異常沉默。對複雜場景進行光線追蹤，每幀數百萬道光線，速度極其緩慢。若無顯著的優化或近似，這僅是一個研究工具，而非設計工具。
• 雜訊模型含糊帶過： 他們提到雜訊，但未整合全面的感測器雜訊模型（散粒雜訊、讀取雜訊、暗電流）。這是一個重大缺陷；正是雜訊使得MPI和低訊號問題變得災難性。
• 驗證不足： 「簡單的3D測試場景」並不足夠。對於標準化、複雜的場景，與高精度參考（如雷射掃描儀）的定量比較在哪裡？

可行洞見：

1. 對研究人員： 使用此框架為新場景產生「誤差圖」。重點是利用結果來訓練輕量級神經網路，使其能在感測器上即時校正這些誤差，將繁重的工作從模擬階段轉移到推論階段。
2. 對工程師： 將此模型的簡化、具即時運算能力的版本整合到感測器設計軟體中。用它來對鏡頭設計和照明模式進行快速的「假設分析」，從一開始就最小化對MPI的敏感性。
3. 下一篇待撰寫的論文： 「用於端到端最佳化的可微分飛時感測器模擬器。」將此光線追蹤方法與可微分渲染技術結合。這將不僅能模擬誤差，還能透過在模擬中反向傳播以最小化深度誤差損失函數，直接最佳化感測器硬體（鏡頭形狀、調變模式）。

8. 應用展望與未來方向

此模擬框架在幾個關鍵領域開啟了大門：

• 汽車 LiDAR/飛時測距： 模擬在惡劣條件（雨、霧、多車干擾）下的深度感知，為自動駕駛車輛開發穩健的演算法。
• 生物辨識與醫療保健： 模擬光與人體組織的交互作用，應用於靜脈成像、呼吸監測或非接觸式心率檢測等領域，這些領域中次表面散射占主導地位。
• 擴增/虛擬實境 (AR/VR)： 最佳化內向外追蹤感測器，使其在充滿多路徑反射的各種雜亂家庭環境中表現良好。
• 工業計量學： 為複雜、閃亮或半透明工業零件的精確測量設計飛時系統。

未來研究必須聚焦於透過重要性取樣（優先處理可能導致MPI的光線）和簡化物理模型來彌合與即時效能的差距，並著重於與全面電子雜訊模擬的緊密整合。

9. 參考文獻

1. Baumgart, M., Druml, N., & Consani, C. (2018). Procedure enabling simulation and in-depth analysis of optical effects in camera-based time-of-flight sensors. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLII-2, 83-90.
2. Lange, R. (2000). 3D Time-of-Flight distance measurement with custom solid-state image sensors in CMOS/CCD-technology. PhD Thesis, University of Siegen.
3. Schwarte, R., et al. (1997). New electro-optical mixing and correlating sensor: facilities and applications of the photonic mixer device (PMD). Proc. SPIE, 3100.
4. Jarabo, A., et al. (2017). A Framework for Transient Rendering. ACM Computing Surveys. (關於瞬態成像的外部來源)
5. Remondino, F., & Stoppa, D. (Eds.). (2013). TOF Range-Imaging Cameras. Springer. (關於飛時測距的外部權威書籍)
6. Zhu, J.Y., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE ICCV. (用於AI基礎誤差校正概念的CycleGAN參考文獻)