লুমিস্কাল্প্ট: ভিডিও জেনারেশনে সামঞ্জস্যপূর্ণ পোর্ট্রেট আলোকসজ্জা সক্ষমকরণ

1. ভূমিকা ও সারসংক্ষেপ

এআই-জেনারেটেড ভিডিওতে আলোকসজ্জা একটি মৌলিক কিন্তু কুখ্যাতভাবে নিয়ন্ত্রণ করা কঠিন উপাদান। টেক্সট-টু-ভিডিও (T2V) মডেলগুলি উল্লেখযোগ্য অগ্রগতি সাধন করলেও, দৃশ্যের শব্দার্থবিদ্যা থেকে স্বাধীনভাবে আলোকসজ্জার অবস্থা আলাদা করা এবং সামঞ্জস্যপূর্ণভাবে প্রয়োগ করা একটি বড় চ্যালেঞ্জ হিসেবেই রয়ে গেছে। লুমিস্কাল্প্ট সরাসরি এই ফাঁকটি মোকাবেলা করে। এটি একটি অভিনব ফ্রেমওয়ার্ক যা ভিডিও ডিফিউশন মডেলের মধ্যে আলোকসজ্জার তীব্রতা, অবস্থান এবং গতিপথের উপর সুনির্দিষ্ট, ব্যবহারকারী-নির্দিষ্ট নিয়ন্ত্রণ প্রবর্তন করে। সিস্টেমের উদ্ভাবন দ্বিমুখী: প্রথমত, এটি লুমিহিউম্যান প্রবর্তন করে, যা পরিচিত আলোকসজ্জা প্যারামিটার সহ ২২০,০০০-এরও বেশি পোর্ট্রেট ভিডিওর একটি নতুন, হালকা ওজনের ডেটাসেট, যা একটি গুরুত্বপূর্ণ তথ্যের ঘাটতির সমস্যার সমাধান করে। দ্বিতীয়ত, এটি একটি শেখার যোগ্য, প্লাগ-অ্যান্ড-প্লে মডিউল ব্যবহার করে যা পূর্ব-প্রশিক্ষিত T2V মডেলগুলিতে আলোকসজ্জার অবস্থা প্রবেশ করায় বিষয়বস্তু বা রঙের মতো অন্যান্য বৈশিষ্ট্যকে ক্ষুণ্ন না করে, সরল পাঠ্য বর্ণনা এবং আলোকসজ্জা পথ থেকে উচ্চ-নির্ভুলতা, সামঞ্জস্যপূর্ণ আলোকসজ্জা অ্যানিমেশন সক্ষম করে।

2. মূল পদ্ধতি: লুমিস্কাল্প্ট ফ্রেমওয়ার্ক

লুমিস্কাল্প্ট পাইপলাইনটি নিরবচ্ছিন্ন একীকরণ এবং নিয়ন্ত্রণের জন্য ডিজাইন করা হয়েছে। একজন ব্যবহারকারী দৃশ্যটি বর্ণনা করে একটি টেক্সট প্রম্পট এবং ভার্চুয়াল আলোর উৎসের জন্য একটি স্পেসিফিকেশন (যেমন, গতিপথ, তীব্রতা) প্রদান করে। সিস্টেমটি তারপর তার প্রশিক্ষিত উপাদানগুলিকে কাজে লাগিয়ে একটি ভিডিও তৈরি করে যেখানে আলোকসজ্জা ব্যবহারকারীর নির্দেশনা অনুযায়ী সামঞ্জস্যপূর্ণভাবে বিকশিত হয়।

3. প্রযুক্তিগত বিবরণ ও গাণিতিক সূত্রায়ন

লুমিস্কাল্প্ট লেটেন্ট ডিফিউশন মডেল (LDM) ফ্রেমওয়ার্কের উপর নির্মিত। লক্ষ্য হল একটি কন্ডিশনাল ডিনয়েজিং প্রক্রিয়া শেখা $\epsilon_\theta(z_t, t, c, l_t)$, যেখানে $c$ হল টেক্সট কন্ডিশন এবং $l_t$ হল জেনারেশন স্টেপ $t$-এ আলোকসজ্জা কন্ডিশন। আলোকসজ্জা নিয়ন্ত্রণ মডিউল $M_\phi$ একটি মড্যুলেশন ম্যাপ $\Delta_t = M_\phi(z_t, l_t)$ ভবিষ্যদ্বাণী করার জন্য প্রশিক্ষিত। এই ম্যাপটি বেস ডিনয়েজারের বৈশিষ্ট্যগুলি অভিযোজিত করতে ব্যবহৃত হয়: $\epsilon_\theta^{adapted} = \epsilon_\theta(z_t, t, c) + \alpha \cdot \Delta_t$, যেখানে $\alpha$ একটি স্কেলিং ফ্যাক্টর। প্রশিক্ষণের উদ্দেশ্য হল উত্পন্ন ভিডিও ফ্রেম এবং লুমিহিউম্যান থেকে গ্রাউন্ড-ট্রু রেন্ডার করা ফ্রেমের মধ্যে একটি পুনর্গঠন ক্ষতি কমানো, আলোকসজ্জা কন্ডিশন $l_t$ কে মূল কন্ডিশনিং সিগন্যাল হিসাবে ব্যবহার করে। এটি মডিউলটিকে প্যারামিটার ভেক্টরকে সংশ্লিষ্ট ভিজ্যুয়াল আলোকসজ্জা প্রভাবের সাথে যুক্ত করতে বাধ্য করে।

4. পরীক্ষামূলক ফলাফল ও বিশ্লেষণ

কাগজটি ব্যাপক মূল্যায়নের মাধ্যমে লুমিস্কাল্প্টের কার্যকারিতা প্রদর্শন করে।

5. বিশ্লেষণ ফ্রেমওয়ার্ক ও কেস স্টাডি

কেস স্টাডি: একটি নাটকীয় একক সংলাপ দৃশ্য তৈরি করা
লক্ষ্য: একটি ব্যক্তির একক সংলাপ দেওয়ার একটি ভিডিও তৈরি করুন, যেখানে আলোকসজ্জা একটি কঠোর, সাইড-লিট কী লাইট হিসাবে শুরু হয় এবং ধীরে ধীরে নরম হয়ে চারপাশে জড়িয়ে পড়ে যখন আবেগময় সুর আশাবাদী হয়ে ওঠে।

1. ইনপুট স্পেসিফিকেশন:
   • টেক্সট প্রম্পট: "একটি মধ্যবয়সী অভিনেতা একটি চিন্তাশীল অভিব্যক্তি সহ, একটি ফাঁকা রিহার্সাল রুমে, ক্লোজ-আপ শট।"
   • আলোকসজ্জা গতিপথ: আলোকসজ্জা ভেক্টরগুলির একটি ক্রম যেখানে:
     • ফ্রেম ০-৩০: ক্যামেরা অক্ষ থেকে ~৮০ ডিগ্রিতে আলোর দিক (হার্ড সাইড লাইট), উচ্চ তীব্রতা।
     • ফ্রেম ৩১-৬০: দিক ধীরে ধীরে ~৪৫ ডিগ্রিতে চলে যায়, তীব্রতা কিছুটা হ্রাস পায়।
     • ফ্রেম ৬১-৯০: দিক ~৩০ ডিগ্রিতে পৌঁছায় (নরম ফিল), তীব্রতা আরও কমে যায়, একটি দ্বিতীয় ফিল লাইট প্যারামিটার সূক্ষ্মভাবে বৃদ্ধি পায়।
2. লুমিস্কাল্প্ট প্রক্রিয়াকরণ: প্লাগ-অ্যান্ড-প্লে মডিউল প্রতিটি ফ্রেমের আলোকসজ্জা ভেক্টর $l_t$ ব্যাখ্যা করে। এটি ডিফিউশন প্রক্রিয়াটিকে মডুলেট করে শুরুতে শক্তিশালী, সংজ্ঞায়িত ছায়া ফেলতে, যা তারপর নরম হয় এবং ভেক্টর পরিবর্তনের সাথে কনট্রাস্ট হ্রাস পায়, একটি ডিফিউজার যোগ করা বা উৎস সরানোর সিমুলেশন করে।
3. আউটপুট: একটি সামঞ্জস্যপূর্ণ ভিডিও যেখানে আলোকসজ্জার পরিবর্তন দৃশ্যত সুসংগত এবং আখ্যানের চাপকে সমর্থন করে, অভিনেতার চেহারা বা রুমের বিবরণকে প্রভাবিত না করে। এটি শুধুমাত্র পাঠ্যের সাথে অর্জনযোগ্য নয় এমন সুনির্দিষ্ট স্থান-কালগত নিয়ন্ত্রণ প্রদর্শন করে।

6. শিল্প বিশ্লেষকের দৃষ্টিভঙ্গি

7. ভবিষ্যতের প্রয়োগ ও গবেষণার দিকনির্দেশনা

• বর্ধিত আলোকসজ্জা মডেল: যেকোনো দিক থেকে আরও জটিল, বাস্তবসম্মত আলোকসজ্জার জন্য সম্পূর্ণ HDR এনভায়রনমেন্ট ম্যাপ বা নিউরাল রেডিয়েন্স ফিল্ড (NeRF) অন্তর্ভুক্ত করা।
• ইন্টারেক্টিভ সম্পাদনা ও পোস্ট-প্রোডাকশন: লুমিস্কাল্প্ট-এর মতো মডিউলগুলিকে NLE (নন-লিনিয়ার এডিটর) এ একীভূত করা যাতে পরিচালকরা জেনারেশনের পরে এআই-জেনারেটেড দৃশ্যগুলিকে গতিশীলভাবে পুনরায় আলোকিত করতে পারেন।
• ক্রস-মোডাল আলোকসজ্জা স্থানান্তর: একটি একক রেফারেন্স ইমেজ বা ভিডিও ক্লিপ ব্যবহার করে একটি আলোকসজ্জা শৈলী বের করে একটি উত্পন্ন ভিডিওতে প্রয়োগ করা, স্পষ্ট প্যারামিটার নিয়ন্ত্রণ এবং শৈল্পিক রেফারেন্সের মধ্যে ব্যবধান পূরণ করা।
• পদার্থবিদ্যা-সচেতন প্রশিক্ষণ: প্রশিক্ষণ লুপে মৌলিক রেন্ডারিং সমীকরণ বা ডিফারেনশিয়েবল রেন্ডারার অন্তর্ভুক্ত করা শারীরিক নির্ভুলতা উন্নত করতে, বিশেষ করে হার্ড শ্যাডো, স্পেকুলার হাইলাইট এবং স্বচ্ছতার জন্য।
• পোর্ট্রেটের বাইরে: পদ্ধতিটিকে সাধারণ 3D দৃশ্য, বস্তু এবং গতিশীল পরিবেশে স্কেল করা, যার জন্য উল্লেখযোগ্যভাবে আরও জটিল ডেটাসেট এবং দৃশ্য বোঝার প্রয়োজন হবে।

8. তথ্যসূত্র

1. Zhang, Y., Zheng, D., Gong, B., Wang, S., Chen, J., Yang, M., Dong, W., & Xu, C. (2025). LumiSculpt: Enabling Consistent Portrait Lighting in Video Generation. arXiv preprint arXiv:2410.22979v2.
2. Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 10684-10695).
3. Blattmann, A., Rombach, R., Ling, H., Dockhorn, T., Kim, S. W., Fidler, S., & Kreis, K. (2023). Align your latents: High-resolution video synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
4. Zhang, L., Rao, A., & Agrawala, M. (2023). Adding conditional control to text-to-image diffusion models. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 3836-3847). (ControlNet)
5. Debevec, P., Hawkins, T., Tchou, C., Duiker, H. P., Sarokin, W., & Sagar, M. (2000). Acquiring the reflectance field of a human face. In Proceedings of the 27th annual conference on Computer graphics and interactive techniques (pp. 145-156).
6. Mildenhall, B., Srinivasan, P. P., Tancik, M., Barron, J. T., Ramamoorthi, R., & Ng, R. (2021). Nerf: Representing scenes as neural radiance fields for view synthesis. Communications of the ACM, 65(1), 99-106.
7. Isola, P., Zhu, J. Y., Zhou, T., & Efros, A. A. (2017). Image-to-image translation with conditional adversarial networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1125-1134). (Pix2Pix)