UniLight: یک بازنمایی یکپارچه چندوجهی نورپردازی برای بینایی کامپیوتر و گرافیک

1. مقدمه و مرور کلی

نورپردازی یک مؤلفه اساسی اما به‌طرز بدنامی پیچیده در ظاهر بصری در بینایی کامپیوتر و گرافیک است. بازنمایی‌های سنتی—نقشه‌های محیطی، نقشه‌های تابش، هارمونیک‌های کروی و توصیفات متنی—عمدتاً ناسازگار باقی مانده‌اند و موانع قابل توجهی برای درک و دستکاری نورپردازی بین‌وجهی ایجاد کرده‌اند. UniLight این پراکندگی را با پیشنهاد یک فضای نهفته مشترک یکپارچه که این وجه‌های متفاوت را به هم پیوند می‌دهد، مورد توجه قرار می‌دهد.

نوآوری اصلی در آموزش رمزگذارهای خاص هر وجه (برای متن، تصاویر، تابش و نقشه‌های محیطی) با استفاده از یک چارچوب یادگیری مقایسه‌ای نهفته است که بازنمایی‌های آن‌ها را مجبور می‌کند در یک فضای مشترک با ابعاد بالا هم‌تراز شوند. یک وظیفه کمکی که ضرایب هارمونیک کروی را پیش‌بینی می‌کند، درک مدل از ویژگی‌های نورپردازی جهتی را تقویت می‌کند.

بینش‌های کلیدی

یکپارچه‌سازی: یک بازنمایی واحد و منسجم از قالب‌های نورپردازی قبلاً ناسازگار ایجاد می‌کند.
انعطاف‌پذیری: کاربردهای نوآورانه‌ای مانند بازیابی بین‌وجهی و تولید شرطی را ممکن می‌سازد.
مبتنی بر داده: از یک خط لوله داده چندوجهی مقیاس‌پذیر برای آموزش بهره می‌برد.

2. روش‌شناسی هسته

معماری UniLight برای استخراج و هماهنگ‌سازی اطلاعات نورپردازی از منابع چندگانه در یک فضای تعبیه مشترک طراحی شده است.

2.1 معماری فضای نهفته مشترک

مدل یک فضای نهفته مشترک $\mathcal{Z} \subset \mathbb{R}^d$ را ایجاد می‌کند، که در آن $d$ بعد تعبیه است. هر وجه ورودی $x_m$ (که در آن $m \in \{\text{text, image, irradiance, envmap}\}$) توسط یک رمزگذار اختصاصی $E_m$ پردازش می‌شود تا یک تعبیه $z_m = E_m(x_m) \in \mathcal{Z}$ تولید کند. هدف این است که اطمینان حاصل شود $z_m$ برای وجه‌های مختلف، هنگامی که یک شرایط نورپردازی یکسان را توصیف می‌کنند، به‌طور نزدیکی هم‌تراز باشند.

2.2 رمزگذارهای خاص هر وجه

رمزگذار متن: مبتنی بر یک معماری ترنسفورمر (مانند یک رمزگذار متن سبک CLIP) برای پردازش توصیفات زبان طبیعی مانند "فضای باز، نور روشن و مستقیم خورشید از بالا سمت راست."
رمزگذارهای تصویر/نقشه محیطی/تابش: از Vision Transformers (ViTs) برای پردازش بازنمایی‌های بصری دوبعدی نورپردازی (نقشه‌های محیطی HDR، نقشه‌های تابش یا تصاویر عمومی) استفاده می‌کنند.

2.3 اهداف آموزش

آموزش دو هدف اصلی را ترکیب می‌کند:

زیان مقایسه‌ای ($\mathcal{L}_{cont}$): از یک تخمین نویز-مقایسه‌ای (مانند InfoNCE) استفاده می‌کند تا تعبیه‌های یک صحنه نورپردازی یکسان از وجه‌های مختلف (جفت‌های مثبت) را به هم نزدیک کند و تعبیه‌های صحنه‌های مختلف (جفت‌های منفی) را از هم دور کند. برای یک دسته از $N$ جفت چندوجهی، زیان برای لنگر $i$ برابر است با: $$\mathcal{L}_{cont}^{i} = -\log\frac{\exp(\text{sim}(z_i, z_{i}^+) / \tau)}{\sum_{j=1, j\neq i}^{N} \exp(\text{sim}(z_i, z_j) / \tau)}$$ که در آن $\text{sim}$ یک شباهت کسینوسی است و $\tau$ یک پارامتر دما است.
زیان کمکی هارمونیک کروی ($\mathcal{L}_{sh}$): یک سر چندلایه پرسپترون (MLP) ضرایب یک بازنمایی هارمونیک کروی درجه سوم (SH) را از تعبیه مشترک $z$ پیش‌بینی می‌کند. این زیان رگرسیون $\mathcal{L}_{sh} = ||\hat{Y} - Y||_2^2$ به‌طور صریح رمزگذاری اطلاعات نورپردازی جهتی را اعمال می‌کند که برای وظایفی مانند نورپردازی مجدد حیاتی است.

زیان کل برابر است با $\mathcal{L} = \mathcal{L}_{cont} + \lambda \mathcal{L}_{sh}$، که در آن $\lambda$ دو عبارت را متعادل می‌کند.

3. پیاده‌سازی فنی

3.1 فرمول‌بندی ریاضی

پیش‌بینی هارمونیک کروی برای ثبت جهت‌داری محوری است. هارمونیک‌های کروی $Y_l^m(\theta, \phi)$ یک پایه متعامد روی کره تشکیل می‌دهند. نورپردازی را می‌توان به صورت زیر تقریب زد: $$L(\theta, \phi) \approx \sum_{l=0}^{L}\sum_{m=-l}^{l} c_l^m Y_l^m(\theta, \phi)$$ که در آن $L$ حد باند است (درجه 3 در UniLight)، و $c_l^m$ ضرایب SH هستند. وظیفه کمکی یک نگاشت $f: \mathcal{Z} \rightarrow \mathbb{C}^{16}$ را یاد می‌گیرد (برای $c_l^m$ با مقادیر حقیقی تا $l=3$).

3.2 خط لوله داده

خط لوله چندوجهی از یک مجموعه داده هسته‌ای از نقشه‌های محیطی HDR شروع می‌شود. از این‌ها، نقشه‌های تابش مصنوعی رندر می‌شوند، و توصیفات متنی متناظر یا از فراداده‌ها استخراج می‌شوند یا با استفاده از یک مدل بینایی-زبان تولید می‌شوند. این خط لوله امکان ایجاد داده‌های آموزشی چندوجهی جفت‌شده در مقیاس بزرگ از یک وجه منبع واحد را فراهم می‌کند.

4. نتایج آزمایشی

UniLight بر روی سه وظیفه پایین‌دستی ارزیابی شد که کاربرد بازنمایی یکپارچه آن را نشان می‌دهد.

4.1 بازیابی مبتنی بر نورپردازی

وظیفه: با توجه به یک پرس‌وجو در یک وجه (مانند متن)، مشابه‌ترین نمونه‌های نورپردازی را از پایگاه‌داده وجه دیگر (مانند نقشه‌های محیطی) بازیابی کنید.
نتایج: UniLight به‌طور قابل توجهی از روش‌های پایه‌ای که از ویژگی‌های خاص هر وجه استفاده می‌کنند، بهتر عمل کرد. تعبیه مشترک امکان جستجوی شباهت بین‌وجهی معنادار را فراهم کرد، مانند یافتن یک نقشه محیطی منطبق با "آسمان آبی، طبیعی" از متن.

4.2 تولید نقشه محیطی

وظیفه: یک مدل مولد (مانند یک مدل انتشار) را بر اساس تعبیه UniLight از هر وجه ورودی شرطی کنید تا یک نقشه محیطی HDR با وضوح بالا و جدید را سنتز کند.
نتایج: نقشه‌های تولید شده فوتورئالیستی و از نظر معنایی با ورودی شرطی (متن، تصویر یا تابش) سازگار بودند. مدل با موفقیت ویژگی‌های نورپردازی سراسری مانند جهت خورشید و رنگ آسمان را ثبت کرد.

4.3 کنترل سنتز تصویر مبتنی بر انتشار

وظیفه: از تعبیه UniLight برای هدایت نورپردازی در یک مدل انتشار متن-به-تصویر استفاده کنید و کنترل صریح نورپردازی جدا از توصیف محتوا را ممکن سازید.
نتایج: با تزریق تعبیه نورپردازی به فرآیند انتشار (مانند از طریق ماژول‌های توجه متقاطع یا آداپتور)، کاربران می‌توانستند تصاویری با روشنایی خاص و قابل کنترل که توسط متن یا یک تصویر مرجع توصیف شده است، تولید کنند که پیشرفتی قابل توجه نسبت به کنترل صرفاً مبتنی بر پرامپت است.

خلاصه عملکرد

دقت بازیابی (Top-1): ~۱۵-۲۵٪ بالاتر از روش‌های پایه خاص هر وجه.
امتیاز FID تولید: ~۱۰٪ بهبود یافته در مقایسه با مدل‌های حذف‌شده بدون زیان کمکی SH.
ترجیح کاربر (کنترل نورپردازی): >۷۰٪ ترجیح برای تصاویر هدایت‌شده توسط UniLight نسبت به خروجی‌های انتشار پایه.

5. چارچوب تحلیل و مطالعه موردی

کاربرد چارچوب: برای تحلیل یک روش تخمین نورپردازی، می‌توانیم یک چارچوب را اعمال کنیم که قدرت بازنمایی، انعطاف‌پذیری بین‌وجهی و کارایی وظیفه پایین‌دستی آن را ارزیابی می‌کند.

مطالعه موردی - عکاسی مجازی محصول:

هدف: رندر یک مدل سه‌بعدی از یک کفش ورزشی در نورپردازی منطبق با یک عکس غروب آفتاب آپلودشده توسط کاربر.
فرآیند با UniLight:
- تصویر مرجع کاربر از طریق رمزگذار تصویر در فضای نهفته مشترک $\mathcal{Z}$ رمزگذاری می‌شود.
- این تعبیه نورپردازی $z_{img}$ بازیابی می‌شود.
- گزینه الف (بازیابی): مشابه‌ترین نقشه محیطی HDR از پیش موجود را از یک کتابخانه برای استفاده در یک رندرر پیدا کنید.
- گزینه ب (تولید): از $z_{img}$ برای شرطی کردن یک مولد استفاده کنید و یک نقشه محیطی HDR جدید و با کیفیت بالا متناسب با رنگ‌های دقیق غروب ایجاد کنید.
نتیجه: کفش ورزشی سه‌بعدی با نورپردازی رندر می‌شود که از نظر ادراکی با درخشش گرم و جهتی عکس غروب آفتاب مطابقت دارد و امکان کنترل برندسازی و زیبایی‌شناسی یکنواخت در مواد بازاریابی را فراهم می‌کند.

این ارزش عملی UniLight را در پل زدن بین ورودی کاربر معمولی (یک عکس موبایل) و خطوط لوله گرافیکی حرفه‌ای نشان می‌دهد.

6. تحلیل انتقادی و بینش‌های تخصصی

بینش هسته: UniLight فقط یک تخمین‌زن نورپردازی دیگر نیست؛ بلکه یک زبان میانجی بنیادین برای روشنایی است. پیشرفت واقعی این است که نورپردازی را به عنوان یک مفهوم درجه یک و مستقل از وجه، مشابه نحوه ایجاد CLIP یک فضای مشترک برای تصاویر و متن، در نظر می‌گیرد. این بازتعریف از تخمین به ترجمه است که انعطاف‌پذیری آن را باز می‌کند.

جریان منطقی و موقعیت‌یابی استراتژیک: مقاله به درستی پراکندگی در این حوزه را شناسایی می‌کند—یک برج بابل که در آن هارمونیک‌های کروی نمی‌توانند با پرامپت‌های متنی صحبت کنند. راه‌حل آن‌ها از یک کتابچه راهنمای اثبات‌شده پیروی می‌کند: یادگیری مقایسه‌ای برای هم‌ترازی، که توسط کارهایی مانند SimCLR و CLIP محبوب شده است، به علاوه یک تنظیم‌کننده خاص دامنه (پیش‌بینی SH). این مهندسی هوشمندانه است، نه تحقیق محض تئوریک. این UniLight را به عنوان میان‌افزار ضروری بین دنیای در حال رشد هوش مصنوعی مولد (که نیاز به کنترل دارد) و خواسته‌های دقیق خطوط لوله گرافیکی (که نیاز به پارامترها دارند) قرار می‌دهد.

نقاط قوت و ضعف:

نقاط قوت: خط لوله داده چندوجهی یک دارایی عمده است که یک مشکل کمبود را به یک مزیت مقیاس‌پذیری تبدیل می‌کند. انتخاب پیش‌بینی SH به عنوان یک وظیفه کمکی ظریف است—دانش پیشین فیزیکی حیاتی (جهت‌داری) را در یک تعبیه صرفاً مبتنی بر داده تزریق می‌کند.
نقاط ضعف و شکاف‌ها: مقاله به‌طور محسوسی در مورد نورپردازی متغیر مکانی سکوت کرده است. بیشتر صحنه‌های دنیای واقعی سایه‌های پیچیده و منابع نور محلی دارند. آیا یک تعبیه سراسری واحد از یک رمزگذار تصویر واقعاً می‌تواند آن را ثبت کند؟ احتمالاً نه. این کاربردپذیری را برای صحنه‌های غیرلامبرتی یا داخلی پیچیده محدود می‌کند. علاوه بر این، در حالی که از یک مدل انتشار برای تولید استفاده می‌کند، میزان اتصال تنگاتنگ آن مشخص نیست. آیا یک شرطی‌سازی ساده است، یا یک کنترل پیچیده‌تر مانند ControlNet؟ عدم جزئیات معماری در اینجا یک فرصت از دست رفته برای تکرارپذیری است.

در مقایسه با روش‌های نورپردازی ضمنی مبتنی بر NeRF (مانند NeILF)، UniLight برای ویرایش عملی‌تر اما از نظر فیزیکی دقیق‌تر نیست. مقداری دقت را در ازای قابلیت استفاده و سرعت معامله می‌کند—یک مصالحه معقول برای بسیاری از کاربردها.

بینش‌های قابل اجرا:

برای محققان: بزرگترین در باز نشده در اینجا گسترش مفهوم "بازنمایی یکپارچه" به زمان (توالی‌های نورپردازی برای ویدیو) و فضا (تعبیه‌های هر پیکسل یا هر شیء) است. گام بعدی یک "UniLight++" است که پیچیدگی کامل معادله انتقال نور را مدیریت می‌کند، نه فقط روشنایی دور.
برای متخصصان (رهبران فنی، مدیران محصول): این برای ادغام آزمایشی در ابزارهای تولید محتوای دیجیتال آماده است. مورد استفاده فوری در هنر مفهومی و پیش‌نمایش است: اجازه دادن به هنرمندان برای جستجوی کتابخانه‌های نورپردازی با متن یا تصاویر، یا ایجاد سریع صحنه‌های نمونه با نورپردازی یکنواخت از یک تابلو خلق‌و‌خو. اولویت‌بندی ادغام با موتورهایی مانند Unity یا Unreal از طریق یک پلاگین که تعبیه UniLight را به پروب‌های نور بومی تبدیل می‌کند.
برای سرمایه‌گذاران: روی شرکت‌هایی شرط ببندید که در حال ساخت "ابزارهای اساسی" برای هوش مصنوعی مولد در زمینه‌های خلاق هستند. UniLight نمونه‌ای از نوع فناوری زیرساخت—که کنترل بهتر را ممکن می‌سازد—است که با حرکت مدل‌های مولد از نوآوری به ابزار تولید، حیاتی خواهد بود. بازار داده‌ها و ابزارهای نورپردازی برای تحول آماده است.

در نتیجه، UniLight یک گام به جلو قابل توجه و عمل‌گرایانه است. نورپردازی را حل نمی‌کند، اما به طرز درخشانی مشکل ارتباط حول نورپردازی را حل می‌کند که یک گلوگاه عمده بوده است. موفقیت آن با سرعتی که در زنجیره ابزار استاندارد هنرمندان و توسعه‌دهندگان گنجانده می‌شود، اندازه‌گیری خواهد شد.

7. کاربردها و جهت‌های آینده

واقعیت افزوده و مجازی (AR/VR): تخمین بلادرنگ نورپردازی محیط از فید دوربین تلفن هوشمند (وجه تصویر) برای روشن کردن اشیاء مجازی که به‌طور متقاعدکننده‌ای در محیط کاربر قرار داده شده‌اند.
تولید محتوای خودکار: ادغام در خطوط لوله تولید فیلم و بازی برای تنظیم خودکار نورپردازی بر اساس یادداشت‌های کارگردان (متن) یا سینماتوگرافی مرجع (تصویر).
تجسم معماری و طراحی داخلی: اجازه دادن به مشتریان برای توصیف حال‌و‌هوای نورپردازی مطلوب ("سالن عصرانه دنج") و تجسم فوری مدل‌های سه‌بعدی معماری تحت آن روشنایی.
رندر عصبی و گرافیک معکوس: خدمت به عنوان یک پیش‌فرض نورپردازی قوی برای وظایف رندر معکوس، کمک به جداسازی مؤثرتر هندسه، ماده و نورپردازی از تصاویر منفرد.
جهت تحقیق - نورپردازی پویا: گسترش چارچوب برای مدل‌سازی تغییرات نورپردازی در طول زمان برای نورپردازی مجدد و ویرایش ویدیو.
جهت تحقیق - نورپردازی شخصی‌سازی‌شده: یادگیری ترجیحات نورپردازی خاص کاربر از داده‌های تعامل و اعمال آن‌ها در محتوای تولیدشده یا ویرایش‌شده.

8. مراجع

Zhang, Z., Georgiev, I., Fischer, M., Hold-Geoffroy, Y., Lalonde, J-F., & Deschaintre, V. (2025). UniLight: A Unified Representation for Lighting. arXiv preprint arXiv:2512.04267.
Mildenhall, B., Srinivasan, P. P., Tancik, M., Barron, J. T., Ramamoorthi, R., & Ng, R. (2020). NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV.
Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision. ICML (CLIP).
Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML (SimCLR).
Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR.
Ramamoorthi, R., & Hanrahan, P. (2001). An Efficient Representation for Irradiance Environment Maps. SIGGRAPH (Spherical Harmonics for Lighting).