LumiSculpt: تمكين الإضاءة المتسقة للصور الشخصية في توليد الفيديو

1. المقدمة والنظرة العامة

تُعد الإضاءة عنصرًا أساسيًا لكن من الصعب التحكم فيه في الفيديو المُولد بواسطة الذكاء الاصطناعي. بينما حققت نماذج توليد الفيديو من النص (T2V) تقدمًا كبيرًا، يظل فصل وتطبيق ظروف الإضاءة بشكل متسق بمعزل عن دلالات المشهد تحديًا رئيسيًا. يتصدى LumiSculpt لهذه الفجوة مباشرة. إنه إطار عمل جديد يقدم تحكمًا دقيقًا محددًا من المستخدم في شدة الإضاءة وموقعها ومسارها داخل نماذج انتشار الفيديو. تكمن ابتكارية النظام في جانبين: أولاً، يقدم LumiHuman، وهي مجموعة بيانات جديدة خفيفة الوزن تضم أكثر من 220 ألف مقطع فيديو للصور الشخصية بمعلمات إضاءة معروفة، مما يحل مشكلة نقص البيانات الحرجة. ثانيًا، يستخدم وحدة قابلة للتعلم والإضافة والتشغيل تحقن ظروف الإضاءة في نماذج T2V المدربة مسبقًا دون المساس بخصائص أخرى مثل المحتوى أو اللون، مما يتيح تحريك إضاءة عالية الدقة ومتسقة من أوصاف نصية بسيطة ومسارات إضاءة.

2. المنهجية الأساسية: إطار عمل LumiSculpt

تم تصميم خط أنابيب LumiSculpt للتكامل والتحكم السلس. يقدم المستخدم مطالبة نصية تصف المشهد ومواصفات لمصدر الضوء الافتراضي (مثل المسار، الشدة). ثم يستفيد النظام من مكوناته المدربة لتوليد فيديو تتطور فيه الإضاءة بشكل متسق وفقًا لتوجيهات المستخدم.

3. التفاصيل التقنية والصياغة الرياضية

يبني LumiSculpt على إطار عمل نموذج الانتشار الكامن (LDM). الهدف هو تعلم عملية إزالة الضوضاء الشرطية $\epsilon_\theta(z_t, t, c, l_t)$، حيث $c$ هو الشرط النصي و $l_t$ هو شرط الإضاءة في خطوة التوليد $t$. يتم تدريب وحدة التحكم في الإضاءة $M_\phi$ للتنبؤ بخريطة تعديل $\Delta_t = M_\phi(z_t, l_t)$. تُستخدم هذه الخريطة لتكييف الميزات في مزيل الضوضاء الأساسي: $\epsilon_\theta^{adapted} = \epsilon_\theta(z_t, t, c) + \alpha \cdot \Delta_t$، حيث $\alpha$ عامل قياس. يهدف التدريب إلى تقليل خسارة إعادة البناء بين إطارات الفيديو المُولدة والإطارات المُصورة الحقيقية من LumiHuman، مع شرط الإضاءة $l_t$ كإشارة شرطية رئيسية. هذا يجبر الوحدة على ربط المتجه البارامتري بتأثير الإضاءة المرئي المقابل.

4. النتائج التجريبية والتحليل

يُظهر البحث فعالية LumiSculpt من خلال تقييمات شاملة.

5. إطار التحليل ودراسة الحالة

دراسة الحالة: إنشاء مشهد مونولوج درامي
الهدف: توليد فيديو لشخص يلقي مونولوج، حيث تبدأ الإضاءة كضوء رئيسي قاسي من الجانب وتلين وتلتف تدريجيًا مع تحول النبرة العاطفية إلى الأمل.

1. مواصفات الإدخال:
   • المطالبة النصية: "ممثل في منتصف العمر بتعبير متفكر، في غرفة بروفات بسيطة، لقطة مقربة."
   • مسار الإضاءة: سلسلة من متجهات الإضاءة حيث:
     • الإطارات 0-30: اتجاه الضوء عند ~80 درجة من محور الكاميرا (ضوء جانبي قاسي)، شدة عالية.
     • الإطارات 31-60: يتحرك الاتجاه تدريجيًا إلى ~45 درجة، تنخفض الشدة قليلاً.
     • الإطارات 61-90: يصل الاتجاه إلى ~30 درجة (ضوء ملء أنعم)، تنخفض الشدة أكثر، تزداد معلمة ضوء ملء ثانٍ بشكل خفي.
2. معالجة LumiSculpt: تفسر الوحدة القابلة للإضافة والتشغيل متجه الإضاءة $l_t$ لكل إطار. تعدل عملية الانتشار لتصب ظلالاً قوية ومحددة في البداية، ثم تلين وتقل تباينها مع تغير المتجه، محاكية إضافة موزع ضوء أو تحرك المصدر.
3. المخرجات: فيديو متسق حيث يكون تغيير الإضاءة متماسكًا بصريًا ويدعم القوس السردي، دون التأثير على مظهر الممثل أو تفاصيل الغرفة. يوضح هذا تحكمًا دقيقًا مكانيًا زمنيًا لا يمكن تحقيقه بالنص وحده.

6. منظور محلل الصناعة

7. التطبيقات المستقبلية واتجاهات البحث

• نماذج إضاءة موسعة: دمج خرائط بيئة HDR كاملة أو حقول الإشعاع العصبي (NeRFs) لإضاءة أكثر تعقيدًا وواقعية من أي اتجاه.
• التعديل التفاعلي وما بعد الإنتاج: دمج وحدات شبيهة بـ LumiSculpt في محررات الفيديو غير الخطية (NLEs) للسماح للمخرجين بإعادة إضاءة المشاهد المُولدة بالذكاء الاصطناعي ديناميكيًا بعد التوليد.
• نقل الإضاءة عبر الوسائط: استخدام صورة مرجعية واحدة أو مقطع فيديو لاستخراج وتطبيق أسلوب إضاءة على فيديو مُولد، لسد الفجوة بين التحكم البارامتري الصريح والمرجع الفني.
• تدريب مستنير بالفيزياء: دمج معادلات التصيير الأساسية أو المصيرات القابلة للاشتقاق في حلقة التدريب لتحسين الدقة الفيزيائية، خاصة للظلال القاسية، والإبرازات المرآوية، والشفافية.
• ما وراء الصور الشخصية: توسيع نطاق المنهجية ليشمل المشاهد ثلاثية الأبعاد العامة، والأجسام، والبيئات الديناميكية، الأمر الذي سيتطلب مجموعات بيانات وفهمًا للمشهد أكثر تعقيدًا بكثير.

8. المراجع

1. Zhang, Y., Zheng, D., Gong, B., Wang, S., Chen, J., Yang, M., Dong, W., & Xu, C. (2025). LumiSculpt: Enabling Consistent Portrait Lighting in Video Generation. arXiv preprint arXiv:2410.22979v2.
2. Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 10684-10695).
3. Blattmann, A., Rombach, R., Ling, H., Dockhorn, T., Kim, S. W., Fidler, S., & Kreis, K. (2023). Align your latents: High-resolution video synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
4. Zhang, L., Rao, A., & Agrawala, M. (2023). Adding conditional control to text-to-image diffusion models. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 3836-3847). (ControlNet)
5. Debevec, P., Hawkins, T., Tchou, C., Duiker, H. P., Sarokin, W., & Sagar, M. (2000). Acquiring the reflectance field of a human face. In Proceedings of the 27th annual conference on Computer graphics and interactive techniques (pp. 145-156).
6. Mildenhall, B., Srinivasan, P. P., Tancik, M., Barron, J. T., Ramamoorthi, R., & Ng, R. (2021). Nerf: Representing scenes as neural radiance fields for view synthesis. Communications of the ACM, 65(1), 99-106.
7. Isola, P., Zhu, J. Y., Zhou, T., & Efros, A. A. (2017). Image-to-image translation with conditional adversarial networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1125-1134). (Pix2Pix)