Ukadiriaji wa Mwanga wa Ndani Unaoweza Kubadilishwa Kutoka kwa Picha Moja

1. Utangulizi

Kuunganisha vitu vya kuwaziwa kwa kweli katika picha za ulimwengu halisi ni muhimu sana kwa matumizi kuanzia athari za kuona hadi Uhalisia wa Kuongezwa (AR). Changamoto kuu ni kukamata na kuwakilisha kwa usahihi mwanga wa eneo la tukio. Ingawa njia za hali ya juu kama vile Mwanga Unaotegemea Picha (IBL) zinazotumia vipima mwanga zinafanikiwa, zinahitaji vifaa maalum na ufikiaji wa kimwili kwenye eneo la tukio. Hii imechochea utafiti wa kukadiria mwanga moja kwa moja kutoka kwa picha.

Mienendo ya hivi karibuni imelenga uwakilishi unaozidi kuwa tata (k.m., gridi za kiasi, ramani mnene za Gaussian za duara) ambazo hutoa matokeo ya usahihi wa juu lakini mara nyingi ni "masanduku meusi"—vigumu kwa watumiaji kufasiri au kuhariri baada ya utabiri. Karatasi hii inapendekeza mabadiliko ya mfano: njia ya kukadiria mwanga inayopendelea uwezo wa kuhariri na uwezo wa kufasiri pamoja na uhalisi, ikirahisisha urekebishaji wa baada ya utabiri kwa wasanii au watumiaji wa kawaida.

2. Njia ya Utafiti

2.1. Uwakilishi wa Mwanga Unapendekezwa

Ubunifu mkuu ni uwakilishi wa mwanga mseto ulioundwa kwa ajili ya uhariri, uliofafanuliwa na sifa tatu: 1) Kutenganishwa kwa vipengele vya mwanga, 2) Udhibiti wa kueleweka juu ya vipengele, na 3) Usaidizi wa kuweka mwanga upya kwa kweli.

Uwakilishi huu unachanganya:

• Chanzo cha Mwanga cha Kiparameta cha 3D: Huiga vyanzo muhimu vya mwanga (k.m., dirisha, taa) kwa vigezo vinavyoeleweka (nafasi, nguvu, rangi). Hii inaruhusu uhariri rahisi (k.m., kusogeza taa kwa kipanya) na kutoa vivuli vikali na vyenye uwazi.
• Ramani ya Teksticha ya HDR Isiyo ya Kiparameta: Hukamata mwanga wa mazingira wenye mzunguko wa juu na mionekano tata inayohitajika kwa uchoraji wa vitu vinavyong'aa kwa kweli. Hii inakamilisha chanzo cha kiparameta.
• Muundo wa Kikabari wa Eno la Tukio la 3D: Hutoa muktadha wa jiometri (kuta, sakafu, dari) ili kuweka taa kwa usahihi na kuhesabu vivuli na vizuizi.

2.2. Mfuatano wa Ukadiriaji

Kutoka kwa picha moja ya RGB, mfuatano huu unakadiria vipengele vyote vitatu pamoja. Mtandao wa neva unaweza kuchambua picha ili kutabiri vigezo vya chanzo kikuu cha mwanga na kutoa muundo wa kikabari wa eneo la tukio. Wakati huo huo, unatambua ramani ya mazingira yenye usahihi wa juu ambayo hukamata mwanga wa mabaki, usio wa mwelekeo ambao haujaelezewa na mfano wa kiparameta.

3. Maelezo ya Kiufundi

3.1. Mfano wa Chanzo cha Mwanga wa Kiparameta

Kipengele cha kiparameta kinaweza kuigwa kama taa ya eneo au chanzo cha mwelekeo. Kwa taa ya eneo la mstatili (inayokaribia dirisha), mchango wake $L_{param}$ kwa sehemu ya uso $\mathbf{x}$ yenye kawaida $\mathbf{n}$ unaweza kukadiriwa kwa kutumia mlinganyo rahisi wa uchoraji: $$L_{param}(\mathbf{x}, \omega_o) \approx \int_{\Omega_{light}} V(\mathbf{x}, \omega_i) \, \Phi \, (\omega_i \cdot \mathbf{n})^+ \, d\omega_i$$ ambapo $\Phi$ ni nguvu ya mionzi, $V$ ni kitendakazi cha kuonekana, na $\Omega_{light}$ ni pembe imara inayoshikiliwa na chanzo cha mwanga. Vigezo (pembe za mstatili, nguvu $\Phi$) vinatabiriwa na mtandao na vinaweza kuhaririwa moja kwa moja.

3.2. Ramani ya Teksticha Isiyo ya Kiparameta

Teksticha isiyo ya kiparameta ni ramani ya mazingira yenye anuwai ya juu ya mienendo (HDR) $T(\omega_i)$. Inazingatia mwanga wote ambao haujakamatwa na mfano wa kiparameta, kama vile mionekano ya kati ya kutawanyika na miangaza tata kutoka kwa nyuso zinazong'aa. Mwanga wa mwisho unaoingia $L_i$ kwenye hatua ni: $$L_i(\mathbf{x}, \omega_i) = L_{param}(\mathbf{x}, \omega_i) + T(\omega_i)$$ Uundaji huu wa kuongeza ndio ufunguo wa uwezo wa kuhariri: kubadilisha taa ya kiparameta (k.m., nguvu yake) haibadilishi teksticha ya usuli kiholela.

4. Majaribio na Matokeo

4.1. Tathmini ya Kiasi

Njia hii ilitathminiwa kwenye seti za data za kawaida (k.m., Seti ya Data ya Laval Indoor HDR). Vipimo vilijumuisha:

• Usahihi wa Mwanga: Hitilafu katika vigezo vilivyotabiriwa vya chanzo cha mwanga (nafasi, nguvu) ikilinganishwa na ukweli wa msingi.
• Usahihi wa Uchoraji: Vipimo kama PSNR na SSIM kati ya michoro ya vitu vya kuwaziwa chini ya mwanga uliotabiriwa dhidi ya mwanga wa ukweli wa msingi.
• Kipimo cha Uwezo wa Kuhariri: Kipimo kipya kinachotegemea utafiti wa watumiaji kinachopima wakati na idadi ya mwingiliano inayohitajika kwa mtumiaji kufikia hariri ya mwanga inayotakiwa.

4.2. Tathmini ya Ubora na Utafiti wa Watumiaji

Kielelezo 1 kwenye PDF kinaonyesha kwa ufanisi mfuatano wa kazi: Picha ya pembejeo inachakatwa ili kukadiria mwanga. Kisha mtumiaji anaweza kuvuta kwa urahisi chanzo cha mwanga cha 3D kilichotabiriwa hadi nafasi mpya na kuona mara moja vivuli na miangaza iliyosasishwa kwenye vitu vya kuwaziwa vilivyoingizwa (kifaru cha dhahabu na tufe). Utafiti unaweza kuonyesha kuwa watumiaji walio na mafunzo kidogo wangeweza kufanya marekebisho kama vile kubadilisha nafasi ya mwanga, nguvu, au rangi kwa sehemu ndogo ya wakati ambao ungechukua kubadilisha mamia ya vigezo kwa mikono katika uwakilishi wa kiasi.

5. Mfumo wa Uchambuzi na Utafiti wa Kesi

Ufahamu Mkuu: Hamu ya jamii ya watafiti ya kuongeza PSNR/SSIM imeunda pengo kati ya utendaji wa algorithimu na utumiaji wa vitendo. Kazi hii inatambua kwa usahihi kuwa ili ukadiriaji wa mwanga upitishwe kwa kweli katika mifuatano ya ubunifu, lazima iwe rafiki kwa mtu katika mzunguko. Mafanikio halisi sio uga wa mionzi wa neva wenye usahihi wa juu zaidi, bali uwakilishi ambalo mbunifu anaweza kuelewa na kuendesha kwa sekunde 30.

Mfuatano wa Mantiki: Hoja hii haikosi. 1) Uwakilishi tata (Lighthouse [25], SG volumes [19,27]) ni masanduku meusi yasiyoweza kuhaririwa. 2) Mifano rahisi ya kiparameta [10] haina uhalisi. 3) Ramani za mazingira [11,24,17] zimechanganyika. Kwa hivyo, 4) mfano mseto uliotenganishwa ni mageuzi muhimu. Msingi wa mantiki wa karatasi hii ni thabiti, umejengwa juu ya ukosoaji wazi wa mwelekeo wa taaluma hii.

Nguvu na Mapungufu:

• Nguvu: Inatatua tatizo halisi, lenye uchungu kwa wasanii na watengenezaji wa AR. Dhamana ya thamani ni wazi kabisa.
• Nguvu: Utekelezaji wa kiufundi ni mzuri. Kutenganishwa kwa kuongeza kwa vipengele vya kiparameta na visivyo vya kiparameta ni chaguo rahisi lakini lenye nguvu la usanifu linaloruhusu uhariri moja kwa moja.
• Uwezekano wa Kukosea/Ukomo: Njia hii inadhania maeneo ya ndani yenye chanzo kikuu cha mwanga kinachotambulika (k.m., dirisha). Utendaji wake katika mwanga tata, wenye vyanzo vingi au maeneo ya nje yenye vurugu kubwa haujajaribiwa na kuna uwezekano wa kuwa changamoto. Ukadiriaji wa "muundo wa kikabari wa 3D" pia ni tatizo ndogo lisilo la kawaida na lenye uwezekano wa kukosea.
• Kosa (kutoka kwa mtazamo wa tasnia): Ingawa karatasi inataja "mibofyo michache ya kipanya," utekelezaji halisi wa UI/UX wa kuendesha vyanzo vya mwanga vya 3D katika muktadha wa picha ya 2D ni kikwazo kikubwa cha uhandisi kisichoshughulikiwa katika utafiti. Kiolesura kibaya kinaweza kufuta faida za uwakilishi unaoweza kuhaririwa.

Ufahamu Unaotumika:

• Kwa Watafiti: Karatasi hii inaweka kiwango kipya: karatasi za baadaye za ukadiriaji wa mwanga zinapaswa kujumuisha kipimo cha "uwezo wa kuhariri" au "wakati wa kusahihisha na mtumiaji" pamoja na vipimo vya kawaida vya makosa. Taaluma hii lazima ikome kutoka kwa utabiri tu hadi mifumo ya ushirikiano.
• Kwa Wasimamizi wa Bidhaa (Adobe, Unity, Meta): Hii ni kipengele tayari kwa mfano wa kwanza kwa chombo chako kifuatacho cha ubunifu au SDK ya AR. Kipaumbele kinapaswa kuwa juu ya kujenga UI inayoeleweka kwa kifaa kilichokadiriwa cha taa ya 3D. Shirikiana na waandishi.
• Kwa Wahandisi: Kulenga kuimarisha ukadiriaji wa muundo wa kikabari wa 3D, labda kwa kuunganisha viwakadirishi vya kina/muundo vya monocular kama vile MiDaS au HorizonNet. Kiungo dhaifu zaidi katika mfuatano kitaamua uzoefu wa mtumiaji.

Utafiti wa Kesi - Uwekaji wa Bidhaa ya Kuwaziwa: Fikiria kampuni ya biashara ya elektroniki inayotaka kuweka chungu cha kuwaziwa katika picha za mapambo ya nyumba zilizotengenezwa na watumiaji. Njia ya kisasa isiyoweza kuhaririwa inaweza kutoa mchoro wa usahihi wa 95%, lakini kivuli kinaanguka vibaya kidogo. Kuirekebisha haiwezekani. Njia hii inatoa mchoro wa usahihi wa 85% lakini kwa "taa ya dirisha" inayoonekana, inayoweza kuvutwa kwenye eneo la tukio. Mwendeshaji wa binadamu anaweza kuirekebisha kwa sekunde kadhaa ili kufikia muunganisho kamili wa 99%, na kufanya mfuatano wote wa kazi uwezekane na wa gharama nafuu. Ubora wa vitendo wa pato la mfumo unaoweza kuhaririwa unazidi ule usioweza kuhaririwa.

6. Matumizi ya Baadaye na Mwelekeo

• Uundaji wa Maudhui ya AR ya Kizazi Kijacho: Kuunganishwa katika zana za uundaji wa AR za rununu (kama Reality Composer ya Apple au Adobe Aero), kuruhusu watumiaji kuweka mwanga upya kwenye maeneo ya kuwaziwa ili kufanana na mazingira yao kikamilifu baada ya kukamata.
• Uhariri wa Video Unaosaidiwa na AI: Kupanua njia hii hadi video kwa ukadiriaji thabiti wa mwanga na uhariri kwenye sura, na kuwezesha VFX za kweli katika video za nyumbani.
• Uchoraji wa Neva na Grafu Kinyume: Uwakilishi unaoweza kuhaririwa unaweza kutumika kama msingi mzuri au uwakilishi wa kati kwa kazi ngumu zaidi za uchoraji kinyume, kuvunja eneo la tukio kuwa umbo, nyenzo, na mwanga unaoweza kuhaririwa.
• Uundaji wa Maudhui ya 3D Kutoka kwa Picha: Kadiri uundaji wa maandishi-hadi-3D na picha-hadi-3D (k.m., kwa kutumia mifumo kama DreamFusion au Zero-1-to-3) unavyokomaa, kuwa na ukadiriaji wa mwanga unaoweza kuhaririwa kutoka kwa picha ya rejeleo kungeruhusu kuweka mwanga upya kwa thamani ya 3D iliyotengenezwa.
• Mwelekeo wa Utafiti: Kuchunguza ukadiriaji wa vyanzo vingi vya mwanga vya kiparameta vinavyoweza kuhaririwa na mwingiliano wao. Pia, kuchunguza mifumo ya mwingiliano wa watumiaji ili kufundisha miundo ambayo inaweza kutabiri marekebisho yanayowezekana, na kuelekea kwenye usanifu wa mwanga unaosaidiwa na AI.

7. Marejeo

1. Weber, H., Garon, M., & Lalonde, J. (2023). Editable Indoor Lighting Estimation. Conference on Computer Vision and Pattern Recognition (CVPR) au sawa.
2. Debevec, P. (1998). Rendering synthetic objects into real scenes: Bridging traditional and image-based graphics with global illumination and high dynamic range photography. SIGGRAPH.
3. Li, Z., et al. (2020). Learning to Reconstruct Shape and Spatially-Varying Reflectance from a Single Image. SIGGRAPH Asia. [Marejeo sawa na [19]]
4. Wang, Q., et al. (2021). IBRNet: Learning Multi-View Image-Based Rendering. CVPR. [Marejeo sawa na [27]]
5. Gardner, M., et al. (2017). Learning to Predict Indoor Illumination from a Single Image. SIGGRAPH Asia. [Marejeo sawa na [10]]
6. Hold-Geoffroy, Y., et al. (2019). Deep Outdoor Illumination Estimation. CVPR. [Marejeo sawa na [11,24]]
7. Mildenhall, B., et al. (2020). NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV. (Kama mfano wa mfano tata wa uwakilishi usioweza kuhaririwa).
8. Ranftl, R., et al. (2020). Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer. TPAMI. (Mfano wa kiwakilishi thabiti cha kina cha monocular kwa muundo).