تقدير الإضاءة الداخلية عالية المدى الديناميكي مع اتساق مكاني وزماني: إطار عمل تعلم عميق للواقع المعزز الفوتوغرافي

جدول المحتويات

1. المقدمة

أدى انتشار الأجهزة المحمولة إلى تحفيز الطلب على تطبيقات الواقع المعزز المتقدمة، مثل تحسين المشاهد الفوتوغرافية والحضور عن بُعد. حجر الزاوية في مثل هذه التطبيقات هو تقدير إضاءة عالية الجودة ومتسقة من صور مفردة أو سلاسل فيديو. هذه المهمة صعبة بشكل خاص في البيئات الداخلية بسبب التفاعل المعقد بين الأشكال الهندسية والمواد ومصادر الضوء المتنوعة، وغالبًا ما تتضمن تفاعلات بعيدة المدى وحجبًا.

المدخلات من الأجهزة الاستهلاكية هي عادةً صور منخفضة المدى الديناميكي (LDR) متفرقة مع مجال رؤية محدود (على سبيل المثال، تلتقط فقط ~6% من مشهد بانورامي). التحدي الأساسي، إذن، هو تخمين معلومات عالية المدى الديناميكي (HDR) مفقودة واستنتاج أجزاء غير مرئية من المشهد (مثل مصادر الضوء خارج الإطار) لتوليد نموذج إضاءة كامل ومتسق مكانيًا. علاوة على ذلك، بالنسبة لمدخلات الفيديو، يجب أن تبقى التنبؤات مستقرة زمانيًا لتجنب الوميض أو التحولات المفاجئة في طبقات الواقع المعزز.

تقدم هذه الورقة البحثية أول إطار عمل مصمم لتحقيق تقدير إضاءة داخلية عالية المدى الديناميكي متسق مكانيًا وزمانيًا. يتنبأ بالإضاءة في أي موضع صورة من صورة منخفضة المدى الديناميكي وخريطة عمق مفردة، وعند إعطائه سلسلة فيديو، فإنه يحسن التنبؤات تدريجيًا مع الحفاظ على تماسك زماني سلس.

2. المنهجية

إطار العمل المقترح هو نظام تعلم عميق متعدد المكونات مستوحى من الفيزياء.

2.1. حجم الإضاءة الكروي الغوسي (SGLV)

التمثيل الأساسي هو حجم الإضاءة الكروي الغوسي (SGLV). بدلاً من التنبؤ بخريطة بيئة واحدة للمشهد بأكمله، تعيد الطريقة بناء حجم ثلاثي الأبعاد حيث يحتوي كل فوكسل على معلمات لمجموعة من الغوسيات الكروية (SGs) تمثل توزيع الإضاءة المحلي. الغوسيات الكروية هي تقريب فعال للإضاءة المعقدة، تُعرّف على النحو التالي: $G(\mathbf{v}; \mathbf{\mu}, \lambda, a) = a \cdot e^{\lambda(\mathbf{\mu} \cdot \mathbf{v} - 1)}$ حيث $\mathbf{\mu}$ هو محور الفص، $\lambda$ هو حدة الفص، و $a$ هو سعة الفص. هذا التمثيل الحجمي هو مفتاح تحقيق الاتساق المكاني.

2.2. بنية المُشفر-فك التشفير ثلاثي الأبعاد

تأخذ شبكة مُشفر-فك تشفير ثلاثي الأبعاد مخصصة صورة الإدخال منخفضة المدى الديناميكي وخريطة العمق المقابلة لها (محاذاة لفضاء ثلاثي الأبعاد مشترك) وتخرج حجم الإضاءة الكروي الغوسي. يستخرج المُشفر الميزات متعددة المقاييس، بينما يقوم فك التشفير بالتصعيد لأعلى لإعادة بناء الحجم عالي الدقة.

2.3. تتبع الأشعة الحجمي للاتساق المكاني

للتنبؤ بخريطة البيئة لنقطة نظر محددة (على سبيل المثال، لإدراج كائن افتراضي)، يقوم إطار العمل بتتبع الأشعة الحجمي عبر حجم الإضاءة الكروي الغوسي. تُلقى الأشعة من الموقع المستهدف، ويتم دمج مساهمة الإضاءة على طول اتجاه كل شعاع عن طريق أخذ عينات ودمج معلمات الغوسيات الكروية من الفوكسلات المتقاطعة. تضمن هذه العملية القائمة على الفيزياء أن تنبؤات الإضاءة متسقة هندسيًا عبر مواقع مختلفة في المشهد.

2.4. شبكة مزج هجينة لخرائط البيئة

يتم تغذية معلمات الغوسيات الكروية الخام من تتبع الأشعة في شبكة مزج هجينة. تقوم هذه الشبكة بتنقية تقدير الإضاءة التقريبي إلى خريطة بيئة عالية المدى الديناميكي مفصلة وعالية الدقة، مستعادة التفاصيل الدقيقة مثل الانعكاسات من الأسطح المرئية.

2.5. طبقة التصيير مونت كارلو داخل الشبكة

الابتكار الحاسم هو طبقة تصيير مونت كارلو داخل الشبكة. تأخذ هذه الطبقة خريطة البيئة عالية المدى الديناميكي المتوقعة ونموذجًا ثلاثي الأبعاد لكائن افتراضي، وتصييره بتتبع المسار، وتقارن النتيجة بتصيير الحقيقة الأرضية. يتم نشر التدرج من خسارة الفوتوغرافية هذه عبر خط أنابيب التنبؤ بالإضاءة، مما يحسن مباشرةً للهدف النهائي وهو الإدراج الواقعي للكائنات.

2.6. الشبكات العصبية المتكررة للاتساق الزماني

لمدخل سلسلة الفيديو، يدمج إطار العمل الشبكات العصبية المتكررة (RNNs). تجمع الشبكات العصبية المتكررة المعلومات من الإطارات السابقة، مما يسمح للنظام بتنقية حجم الإضاءة الكروي الغوسي تدريجيًا مع ملاحظة المزيد من المشهد. والأهم من ذلك، فإنها تفرض تحولات سلسة بين التنبؤات في إطارات متتالية، مما يزيل الوميض ويضمن التماسك الزماني.

3. تحسين مجموعة البيانات: OpenRooms

يتطلب تدريب نموذج جائع للبيانات بهذا الحجم مجموعة بيانات ضخمة للمشاهد الداخلية مع إضاءة عالية المدى الديناميكي حقيقة أرضية. قام المؤلفون بتحسين مجموعة البيانات العامة OpenRooms بشكل كبير. تتضمن النسخة المحسنة ما يقرب من 360,000 خريطة بيئة عالية المدى الديناميكي بدقة أعلى بكثير و38,000 سلسلة فيديو، جميعها مُصورة باستخدام تتبع المسار المعجل بوحدة معالجة الرسومات للدقة الفيزيائية. تشكل هذه المجموعة مساهمة كبيرة للمجتمع البحثي.

4. التجارب والنتائج

4.1. الإعداد التجريبي

تم تقييم إطار العمل مقارنة بأحدث طرق تقدير الإضاءة القائمة على الصورة المفردة (مثل [Gardner et al. 2017]، [Song et al. 2022]) والقائمة على الفيديو. شملت المقاييس مقاييس قياسية قائمة على الصورة (PSNR، SSIM) على الكائنات المصورة، بالإضافة إلى مقاييس إدراكية (LPIPS) ودراسات مستخدم لتقييم الفوتوغرافية.

4.2. النتائج الكمية

تفوقت الطريقة المقترحة على جميع الأساليب الأساسية في المقارنات الكمية. حققت درجات PSNR و SSIM أعلى لتصيير الكائنات الافتراضية، مما يشير إلى تنبؤ إضاءة أكثر دقة. كانت درجات المقياس الإدراكي (LPIPS) أيضًا متفوقة، مما يشير إلى أن النتائج كانت أكثر فوتوغرافية للمراقبين البشريين.

4.3. النتائج النوعية والمقارنات البصرية

تظهر النتائج النوعية، كما هو موضح في الشكل 1 من ملف PDF، مزايا كبيرة:

• استعادة مصادر الضوء غير المرئية: تنجح الطريقة في استنتاج وجود وخصائص مصادر الضوء خارج مجال رؤية الكاميرا.
• انعكاسات سطحية مفصلة: تحتوي خرائط البيئة المتوقعة على انعكاسات حادة ودقيقة للأسطح المرئية في الغرفة (الجدران، الأثاث)، وهي حاسمة لتصيير الكائنات المرآتية واللامعة.
• الاتساق المكاني: تظهر الكائنات الافتراضية المدرجة في مواقع مختلفة في نفس المشهد إضاءة متسقة مع الهندسة المحلية والإضاءة العالمية.
• السلاسة الزمانية: في سلاسل الفيديو، تتطور الإضاءة على الكائنات المدرجة بسلاسة مع تحرك الكاميرا، دون ظهور مفاجئ أو تشوهات وميض شائعة في الطرق إطارًا بإطار.

4.4. دراسات الإقصاء

أكدت دراسات الإقصاء أهمية كل مكون:

• أدى إزالة حجم الإضاءة الكروي الغوسي وتتبع الأشعة الحجمي إلى تنبؤات غير متسقة مكانيًا.
• نتج عن حذف طبقة التصيير مونت كارلو داخل الشبكة إدراجات كائنات أقل فوتوغرافية، على الرغم من جودة مقاييس خريطة البيئة.
• تسبب تعطيل الشبكات العصبية المتكررة لمعالجة الفيديو في وميض زماني ملحوظ.

5. التفاصيل التقنية والصياغة الرياضية

دالة الخسارة هي هدف متعدد الحدود: $\mathcal{L} = \mathcal{L}_{env} + \alpha \mathcal{L}_{render} + \beta \mathcal{L}_{temp}$

• $\mathcal{L}_{env}$: خسارة L2 بين خرائط البيئة عالية المدى الديناميكي المتوقعة والحقيقة الأرضية.
• $\mathcal{L}_{render}$: خسارة التصيير الفوتوغرافي من طبقة مونت كارلو داخل الشبكة. يتم حسابها كالفرق بين الكائن الافتراضي المصور باستخدام الإضاءة المتوقعة والتصيير الحقيقة الأرضية بتتبع المسار.
• $\mathcal{L}_{temp}$: خسارة سلاسة زمانية تُطبق على معلمات حجم الإضاءة الكروي الغوسي عبر إطارات متتالية في سلسلة فيديو، تفرضها الشبكات العصبية المتكررة.

6. إطار التحليل: الفكرة الأساسية والتسلسل المنطقي

الفكرة الأساسية: الاختراق الأساسي للورقة البحثية ليس مجرد شبكة عصبية أفضل لخرائط البيئة؛ إنه إدراك أن الإضاءة هي خاصية حقل ثلاثي الأبعاد، وليست نسيجًا ثنائي الأبعاد يعتمد على المنظر. من خلال تحويل المخرجات من بانوراما ثنائية الأبعاد إلى حجم إضاءة كروي غوسي ثلاثي الأبعاد (SGLV)، يحل المؤلفون مشكلة الاتساق المكاني من جذورها. هذه قفزة مفاهيمية تشبه التحول من التصيير القائم على الصورة إلى حقول الإشعاع العصبي (NeRF) [Mildenhall et al. 2020]—فهي تنقل التمثيل إلى الفضاء الجوهري ثلاثي الأبعاد للمشهد. مُصير مونت كارلو داخل الشبكة هو الضربة الثانية البارعة، حيث ينشئ رابطًا مباشرًا قائمًا على التدرج بين تقدير الإضاءة والمقياس النهائي للنجاح: الفوتوغرافية في تكوين الواقع المعزز.

التسلسل المنطقي: منطق البنية السببي لا تشوبه شائبة. 1) التوطين ثلاثي الأبعاد: يتم دمج المدخلات (منخفضة المدى الديناميكي + عمق) في حجم ميزات ثلاثي الأبعاد. 2) إعادة بناء الإضاءة الحجمية: يخرج فك التشفير حجم إضاءة كروي غوسي—نموذج إضاءة واعي مكانيًا. 3) الفيزياء القابلة للاشتقاق: يستعلم تتبع الأشعة الحجمي من هذا النموذج لأي نقطة نظر، مما يضمن الاتساق المكاني بالبناء. 4) تنقية المظهر والتحسين المباشر: تضيف شبكة ثنائية الأبعاد تفاصيل عالية التردد، وتحسن طبقة مونت كارلو مباشرةً لجودة التصيير النهائية. 5) التكامل الزماني: للفيديو، تعمل الشبكات العصبية المتكررة كبنك ذاكرة، تنقي حجم الإضاءة الكروي الغوسي مع مرور الوقت وتصفّح الناتج بتمرير منخفض للسلاسة. كل خطوة تعالج ضعفًا محددًا في الأعمال السابقة.

7. نقاط القوة، العيوب، ورؤى قابلة للتطبيق

نقاط القوة:

1. التمثيل الأساسي: حجم الإضاءة الكروي الغوسي هو تمثيل أنيق وقوي من المرجح أن يؤثر على الأعمال المستقبلية بما يتجاوز تقدير الإضاءة.
2. التحسين الشامل للمهمة: مُصير داخل الشبكة هو مثال رائع لتصميم خسارة مخصصة للمهمة، متجاوزًا الخسائر البديلة (مثل L2 على خرائط البيئة) لتحسين الهدف الفعلي.
3. حل شامل: يتناول مشكلتي الصورة المفردة والفيديو ضمن إطار عمل موحد، معالجة الاتساق المكاني و الزماني—مزيج نادر.
4. المساهمة في الموارد: مجموعة بيانات OpenRooms المحسنة هي أصل رئيسي لمجتمع البحث.

العيوب والأسئلة النقدية:

1. الاعتماد على العمق: تتطلب الطريقة خريطة عمق. بينما أجهزة استشعار العمق شائعة، فإن الأداء على مدخلات RGB أحادية العدسة غير واضح. هذا يحد من قابلية التطبيق على الوسائط القديمة أو الأجهزة بدون استشعار عمق.
2. التكلفة الحسابية: يتضمن التدريب تتبع المسار. يتطلب الاستدلال تتبع أشعة حجمي. هذا ليس حلاً محمولاً خفيف الوزن بعد. الورقة البحثية صامتة بشأن سرعة الاستدلال أو ضغط النموذج.
3. التعميم على البيانات "في البرية": تم تدريب النموذج على مجموعة بيانات اصطناعية مصورة بتتبع المسار (OpenRooms). يبقى أداؤه على الصور المحمولة الحقيقية المليئة بالضوضاء والتعرض الضعيف—التي غالبًا ما تنتهك الافتراضات الفيزيائية لتتبع المسار—هو السؤال الملياري لنشر الواقع المعزز.
4. غموض المادة: مثل جميع مهام التصيير العكسي، يرتبط تقدير الإضاءة بتقدير مادة السطح. يفترض إطار العمل هندسة معروفة أو مقدرة تقريبًا ولكنه لا يحل المواد بشكل صريح، مما قد يحد من الدقة في المشاهد المعقدة غير اللامبرتية.

رؤى قابلة للتطبيق:

1. للباحثين: نموذج حجم الإضاءة الكروي الغوسي + التتبع الحجمي هو الاستنتاج الرئيسي. استكشف تطبيقه على مهام ذات صلة مثل تركيب المنظر أو تقدير المادة. تحقق من تقنيات التكيف الذاتي الإشراف أو في وقت الاختبار لسد الفجوة بين المحاكاة والواقع للبيانات المحمولة الحقيقية.
2. للمهندسين/فرق المنتج: عالج هذا كمرجع معياري ذهبي للواقع المعزز عالي الدقة. لدمج المنتج على المدى القريب، ركز على تقطير هذا النموذج (على سبيل المثال، عبر تقطير المعرفة [Hinton et al. 2015]) إلى نسخة صديقة للهاتف المحمول يمكنها التشغيل في الوقت الفعلي، ربما عن طريق تقريب حجم الإضاءة الكروي الغوسي بهيكل بيانات أكثر كفاءة.
3. للاستراتيجيين في مجال البيانات: تم إثبات قيمة البيانات الاصطناعية عالية الجودة. استثمر في توليد مجموعات بيانات اصطناعية أكثر تنوعًا ودقة فيزيائية تلتقط نطاقًا أوسع من ظواهر الإضاءة (مثل الوهج المعقد، الوسائط المشاركة).

8. آفاق التطبيق والاتجاهات المستقبلية

التطبيقات الفورية:

• إنشاء محتوى واقع معزز عالي الجودة: أدوات احترافية للأفلام، العمارة، وتصميم الديكور الداخلي حيث يكون إدراج الكائنات الافتراضية الفوتوغرافية حاسمًا.
• الحضور عن بُعد الغامر والمؤتمرات: إضاءة وجه المستخدم بشكل متسق مع بيئة بعيدة لمكالمات الفيديو الواقعية.
• التجارة الإلكترونية والتجزئة: السماح للعملاء بتصور المنتجات (الأثاث، الديكور، الأجهزة) في منازلهم تحت ظروف إضاءة دقيقة.

اتجاهات البحث المستقبلية:

1. التصيير العكسي الموحد: توسيع الإطار العمل لتقدير الإضاءة والمواد والهندسة بشكل مشترك من مدخلات متفرقة، والتقدم نحو خط أنابيب فهم مشهد كامل.
2. الكفاءة والنشر على الجهاز: البحث في ضغط النماذج، تقنيات التصيير العصبي الفعالة، والبنى المعمارية الواعية للأجهزة لجلب هذا المستوى من الجودة إلى الواقع المعزز المحمول في الوقت الفعلي.
3. معالجة الإضاءة الديناميكية: يركز العمل الحالي على المشاهد الثابتة. الحدود الرئيسية هي تقدير وتنبؤ التغيرات الديناميكية في الإضاءة (مثل تشغيل/إطفاء الأضواء، تحريك مصادر الضوء، تغير ضوء الشمس).
4. التكامل مع تمثيلات المشهد العصبية: دمج مفهوم حجم الإضاءة الكروي الغوسي مع التمثيلات الضمنية مثل NeRF أو الرش ثلاثي الأبعاد الغوسي [Kerbl et al. 2023] لإنشاء نموذج مشهد عصبي كامل قابل للاشتقاق والتحرير.

9. المراجع

1. Zhengqin Li, Li Yu, Mikhail Okunev, Manmohan Chandraker, Zhao Dong. "Spatiotemporally Consistent HDR Indoor Lighting Estimation." ACM Trans. Graph. (Proc. SIGGRAPH), 2023.
2. Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng. "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis." ECCV, 2020.
3. Geoffrey Hinton, Oriol Vinyals, Jeff Dean. "Distilling the Knowledge in a Neural Network." arXiv:1503.02531, 2015.
4. Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George Drettakis. "3D Gaussian Splatting for Real-Time Radiance Field Rendering." ACM Trans. Graph., 2023.
5. Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros. "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks." ICCV, 2017. (CycleGAN - مرجع لمفاهيم تكيف المجال ذات الصلة بالانتقال من المحاكاة إلى الواقع).
6. OpenRooms Dataset. https://openrooms.github.io/