Ukadiriaji wa Mwanga wa Ndani wa HDR Unaolingana Kwa Nafasi na Muda: Mfumo wa Kina wa Kujifunza kwa AR Yenye Uhalisia wa Picha

1. Utangulizi

Ukadiriaji wa mwanga wa hali ya juu, unaolingana, ni msingi muhimu kwa matumizi ya Augmented Reality (AR) yenye uhalisia wa picha kama vile uboreshaji wa eneo na uwepo wa mbali. Karatasi "Ukadiriaji wa Mwanga wa Ndani wa HDR Unaolingana Kwa Nafasi na Muda" inashughulikia changamoto kubwa ya kutabiri mwanga kutoka kwa pembejeo chache, zisizokamilika kama kawaida kwenye vifaa vya rununu—mara nyingi ni picha moja tu ya Low Dynamic Range (LDR) inayofunika takriban 6% ya eneo la panorama. Tatizo kuu ni kuibua habari ya High Dynamic Range (HDR) inayokosekana na sehemu za eneo zisizoonekana (kama vile vyanzo vya mwanga nje ya fremu) huku ukihakikisha utabiri unalingana katika maeneo tofauti ya nafasi kwenye picha na kwa muda katika mlolongo wa video. Kazi hii inapendekeza mfumo wa kwanza kufikia ulinganifu huu wa pande mbili, kuwezesha uchoraji wa kweli wa vitu vya kawaida na nyenzo changamano kama vile vioo na nyuso zenye mwangaza.

2. Mbinu

Mfumo unaopendekezwa ni mfumo wa kina wa kujifunza wenye vipengele vingi, unaotokana na fizikia, ulioundwa kutabiri mwanga kutoka kwa picha ya LDR (na kina cha hiari) au mlolongo wa video wa LDR.

2.1. Kiasi cha Mwanga cha Gauss ya Tufe (SGLV)

Uwakilishi mkuu ni kiasi cha 3D ambapo kila voxel huhifadhi vigezo vya seti ya Gauss za Tufe (SGs), ambazo ni makadirio bora ya mwanga changamano. SG imefafanuliwa kama: $G(\mathbf{v}; \mathbf{\mu}, \lambda, a) = a \cdot e^{\lambda(\mathbf{\mu} \cdot \mathbf{v} - 1)}$, ambapo $\mathbf{\mu}$ ni mhimili wa lobe, $\lambda$ ni ukali wa lobe, na $a$ ni amplitude ya lobe. SGLV inawakilisha kwa ufupi uga wa mwanga katika nafasi ya 3D ya eneo.

2.2. Muundo wa Msimboji-Msimboji 3D

Mtandao wa kipekee wa 3D wa kiviringi huchukua picha ya pembejeo ya LDR (na ramani ya kina, ikiwepo) na kujenga SGLV. Msimboji hutoa vipengele vya kiwango kingi, ambavyo msimboji hutumia kupandisha sampuli hatua kwa hatua na kutabiri vigezo vya SG (mhimili, ukali, amplitude) kwa kila voxel kwenye kiasi.

2.3. Ufuatiliaji wa Miale wa Kiasi kwa Ulinganifu wa Nafasi

Ili kutabiri mwanga katika nafasi yoyote ya picha (k.m., mahali ambapo kitu cha kawaida kimewekwa), mfumo hufanya ufuatiliaji wa miale wa kiasi kupitia SGLV. Kwa hatua fulani ya 3D na mwelekeo wa kutazama, huchukua sampuli ya SGLV kwenye miale na kukusanya vigezo vya SG. Hii inahakikisha utabiri wa mwanga unatokana na fizikia na unabadilika kwa laini na kwa usawa katika maeneo ya nafasi, kuzingatia jiometri ya eneo.

2.4. Mtandao wa Kuchanganya Mseto kwa Ramani za Mazingira

Vigezo vya SG vilivyofuatiliwa kwa miale vinabadilishwa kuwa ramani ya kina ya HDR ya mazingira. Mtandao wa kuchanganya mseto huchanganya utabiri wa jumla, unaolingana uliotoka kwa SGLV na maelezo ya juu ya mzunguko yaliyojifunza ili kutoa ramani ya mwisho ya mazingira inayojumuisha mionekano mibaya na vyanzo vya mwanga visivyoonekana.

2.5. Tabaka la Uchoraji wa Monte-Carlo Ndani ya Mtandao

Tabaka la uchoraji wa Monte-Carlo linaloweza kutofautishwa limejumuishwa kwenye mchakato wa mafunzo. Linachora vitu vya kawaida kwa mwanga uliotabiriwa na kulinganisha matokeo na uchoraji wa ukweli. Hasara hii ya mwisho-hadi-mwisho ya fotometri inaboresha moja kwa moja kwa lengo la mwisho—kuingizwa kwa vitu kwa uhalisia wa picha—na hutoa ishara nzuri ya usimamizi, sawa na hasara za upinzani na uthabiti wa mzunguko zilizochochea miundo ya kutafsiri picha-hadi-picha kama CycleGAN [Zhu et al., 2017].

2.6. Mitandao ya Neural ya Kurudia kwa Ulinganifu wa Muda

Pembejeo ikiwa ni mlolongo wa video, moduli ya Mtandao wa Neural wa Kurudia (RNN) inatumika. Inadumisha hali ya siri inayokusanya habari kutoka kwa fremu za zamani. Hii inaruhusu mfumo kuboresha hatua kwa hatua makadirio yake ya mwanga kadiri inavyozingatia zaidi eneo kwa muda, huku kumbukumbu ya RNN ikihakikisha uboreshaji huo ni laini na unaolingana kwa muda, kuepusha mwanga unaotabiriwa kuwaka mara kwa mara au kuruka kwa ghafla.

3. Seti ya Data ya OpenRooms Iliyoboreshwa

Ili kufundisha muundo kama huo wenye njaa ya data, waandishi waliboresha kwa kiasi kikubwa seti ya data ya umma ya OpenRooms. Toleo lililoboreshwa linajumuisha takriban ramani 360,000 za HDR za mazingira kwa usuluhishi wa juu zaidi na mlolongo 38,000 wa video, yote yaliyochorwa kwa kutumia ufuatiliaji wa njia ulioharakishwa na GPU kwa usahihi wa kimwili. Seti hii kubwa ya data ya sintetiki ya hali ya juu ilikuwa muhimu kwa mafanikio ya muundo.

Takwimu za Seti ya Data

Ramani za HDR za Mazingira: ~360,000
Mlolongo wa Video: ~38,000
Njia ya Uchoraji: Ufuatiliaji wa Njia Unaotumia GPU
Matumizi Makuu: Kufundisha na Kupima Viwango vya Miundo ya Ukadiriaji wa Mwanga wa Ndani

4. Majaribio na Matokeo

4.1. Tathmini ya Kiasi

Mfumo ulitathminiwa dhidi ya njia za kisasa za ukadiriaji wa mwanga zinazotumia picha moja na video kwa kutumia vipimo vya kawaida kama Kosa la Mraba la Wastani (MSE) na Kielelezo cha Ufanano wa Muundo (SSIM) kwenye ramani za HDR za mazingira, pamoja na vipimo vya mtazamo kwenye uingizwaji wa vitu vilivyochorwa. Njia iliyopendekezwa ilishinda kila wakati viwango vyote katika kutabiri mwanga sahihi, kwa nafasi na kwa muda.

4.2. Tathmini ya Ubora na Matokeo ya Kuona

Kama inavyoonyeshwa kwenye Mchoro 1 wa karatasi, njia hiyo imefaulu kurejesha vyanzo vyote vya mwanga vinavyoona na visivyoonekana na mionekano mibaya kutoka kwa nyuso zinazoonekana. Hii inawezesha uingizwaji wa kweli wa vitu vya kawaida na nyenzo changamano. Kwa pembejeo za video, matokeo yanaonyesha maendeleo laini na uthabiti kwa muda, bila kuwaka mara kwa mara.

Maelezo ya Chati/Mchoro (Kulingana na Mch. 1 & 2): Mchoro 1 unatoa muhtasari wa kuona wenye mvuto, ukilinganisha uingizwaji wa vitu kwa kutumia mwanga kutoka kwa njia tofauti. Matokeo ya waandishi yanaonyesha mionekano mibaya sahihi ya mwangaza, vivuli laini, na damu ya rangi inayolingana na eneo la kweli, tofauti na washindani ambao uingizwaji wao unaonekana bapa, rangi zisizofaa, au hakuna vivuli vinavyolingana. Mchoro 2 unaonyesha muundo wa jumla wa mfumo, ukionyesha mtiririko kutoka kwa picha/kina cha pembejeo hadi SGLV, kupitia ufuatiliaji wa miale na mtandao wa kuchanganya, hadi ramani ya mwisho ya HDR ya mazingira na kitu kilichochorwa.

4.3. Uchunguzi wa Uondoaji

Uchunguzi wa uondoaji ulithibitisha umuhimu wa kila sehemu: kuondoa SGLV na ufuatiliaji wa miale wa kiasi kulidhuru ulinganifu wa nafasi; kuondoa kichoraji ndani ya mtandao kulipunguza uhalisia wa picha wa uingizwaji; na kuzima RNN kulisababisha utabiri usio na ulinganifu wa muda, unaowaka mara kwa mara kwenye video.

5. Uchambuzi wa Kiufundi na Ufahamu Mkuu

Ufahamu Mkuu

Karatasi hii sio tu uboreshaji mwingine wa hatua kwa hatua katika ukadiriaji wa mwanga; ni mabadiliko ya dhana kuelekea kutibu mwanga kama uga wa nafasi na muda badala ya panorama tuli, isiyotegemea mtazamo. Waandishi wametambua kwa usahihi kwamba kwa AR kuhisi "kweli," vitu vya kawaida lazima vingiliane na mwanga kwa usawa kadiri mtumiaji au kitu kinavyosonga. Ufahamu wao mkuu ni kutumia uwakilishi wa mwanga wa kiasi cha 3D (SGLV) kama muundo wa data wa kati. Hii ndiyo hatua bora—inajenga daraja kati ya kikoa cha picha ya 2D na ulimwengu wa kimwili wa 3D, kuwezesha hoja za nafasi kupitia ufuatiliaji wa miale na laini ya muda kupitia muundo wa mlolongo. Inaendelea zaidi ya mipaka ya njia zinazorejesha moja kwa moja ramani ya mazingira kutoka kwa CNN ya 2D, ambazo kwa asili zinapambana na mshikamano wa nafasi.

Mtiririko wa Kimantiki

Mantiki ya usanifu ni nzuri na inafuata mchakato wazi wa uigaji wa kimwili, ndiyo maana inafanya kazi vizuri: Pembejeo ya 2D -> Uelewa wa Eneo la 3D (SGLV) -> Uhoji wa Kimwili (Ufuatiliaji wa Miale) -> Matokeo ya 2D (Ramani ya Mazingira/Uchoraji). Msimboji-masimboji wa 3D hujenga muundo wa kisiri wa usambazaji wa mwanga wa eneo. Opereta ya ufuatiliaji wa miale wa kiasi hufanya kazi kama utaratibu wa kuhoji unaoweza kutofautishwa, unaotambua jiometri. Mtandao mseto huongeza maelezo muhimu ya juu ya mzunguko yaliyopotea katika utenganishaji wa kiasi. Hatimaye, kichoraji cha Monte-Carlo ndani ya mtandao hufunga kitanzi, kukabiliana na lengo la kujifunza na kazi ya mwisho ya mtazamo. Kwa video, RNN inasasisha tu uwakilishi wa kisiri wa 3D kwa muda, na kufanya ulinganifu wa muda kuwa bidhaa ya asili.

Nguvu na Kasoro

Nguvu: Ufikiaji wa ulinganifu wa pande mbili ni alama ya mwanzo. Matumizi ya uwakilishi unaotokana na fizikia (SGLV+Ufuatiliaji wa Miale) yanampa upendeleo wa kufikiria wenye nguvu, na kusababisha ujumla bora kuliko njia zinazotegemea data tu. Seti ya data iliyoboreshwa ya OpenRooms ni mchango mkubwa kwa jamii. Ujumuishaji wa hasara ya uchoraji ni busara, sawa na mafunzo "yanayotambua kazi" yanayoonwa katika miundo ya kisasa ya maono.

Kasoro na Maswali: Tembo kwenye chumba ni gharama ya hesabu. Kujenga na kuhoji kiasi cha 3D ni nzito. Ingawa inawezekana kwa utafiti, utendaji wa wakati halisi kwenye vifaa vya AR vya rununu bado ni kikwazo kikubwa. Kutegemea data ya sintetiki (OpenRooms) ni upanga wenye makali mawili; ingawa inatoa ukweli kamili, pengo la sim-to-real kwa ndani changamano, yasiyo na mpangilio ya ulimwengu wa kweli halijathibitishwa. Njia hiyo pia inadhania ramani ya kina inapatikana, ambayo huongeza utegemezi kwa sensor nyingine au algoriti ya ukadiriaji. Inafanya vipi kwa kina chenye kelele au kinachokosekana?

Ufahamu Unaoweza Kutekelezwa

1. Kwa Watafiti: Dhana ya SGLV iko tayari kwa uchunguzi. Je, inaweza kufanywa kuwa bora zaidi kwa uwakilishi chache au safu? Je, mfumo huu unaweza kubadilishwa kwa ukadiriaji wa mwanga wa nje? 2. Kwa Wahandisi/Timu za Bidhaa: Matumizi ya haraka ni katika uundaji wa maudhui ya hali ya juu ya AR na uonyeshaji wa kitaalamu. Kwa AR ya rununu ya watumiaji, fikiria mfumo wa ngazi mbili: mkadiriaji mwepesi, wa haraka kwa ufuatiliaji wa wakati halisi, na njia hii kama huduma ya nyuma ya kuzalisha athari za hali ya juu, zenye uhalisia wa picha wakati mtumiaji anaposimamisha. 3. Mkakati wa Seti ya Data: Mafanikio yanaonyesha hitaji la data kubwa ya hali ya juu yenye lebo katika maono ya michoro. Kuwekeza katika zana za uzalishaji bora wa data ya sintetiki (mwelekeo unaoungwa mkono na Omniverse ya NVIDIA na wengine) ni muhimu kwa kuendeleza taaluma hii. 4. Usanifu Pamoja wa Vifaa: Kazi hii inasukuma mpaka wa kile kinachohitajika kwa AR inayoaminika. Ni ishara wazi kwa wazalishaji wa chips (Apple, Qualcomm) kwamba uchoraji wa neural kwenye kifaa na uwezo wa utabiri wa 3D sio anasa bali ni lazima kwa uzoefu wa kizazi kijacho cha AR.

Kwa kumalizia, karatasi hii inaweka hali mpya ya kisasa kwa kushughulikia kwa ukali changamoto kuu za ulinganifu. Ni hatua muhimu kutoka kwa mwanga "mzuri" hadi mwanga unaoweza kudanganya jicho kwa kweli katika hali ya AR inayobadilika. Changamoto zilizobaki kwa kiasi kikubwa ni uhandisi: ufanisi, uthabiti kwa data ya ulimwengu wa kweli, na ujumuishaji laini kwenye mchakato wa kifaa.

6. Mifano ya Matumizi na Mfumo

Mfano wa Kesi: Kuweka Samani ya Kawaida kwenye AR

Programu ya kubuni ya ndani hutumia mfumo huu. Mtumiaji anaelekeza kibao chake kwenye kona ya chumba cha kulala.

Pembejeo: Programu hukamata mkondo wa video wa LDR na kadiria kina kwa kutumia LiDAR/sensa za kifaa.
Usindikaji: Mtandao wa mfumo husindika fremu ya kwanza, ukijenga SGLV ya awali na kutabiri mazingira ya mwanga wa HDR katikati ya skrini.
Mwingiliano: Mtumiaji huchagua sofa ya kawaida ya kuweka kwenye kona. Programu hutumia ufuatiliaji wa miale wa kiasi kuhoji SGLV kwenye eneo la 3D la sofa, na kupata makadirio sahihi ya mwanga wa nafasi kwa eneo hilo maalum (ambalo linazingatia dirisha la karibu lisiloonekana moja kwa moja kwenye fremu ya awali).
Uchoraji: Sofa huchorwa kwa mwanga uliohojiwa kwa kutumia kichoraji cha Monte-Carlo, na kuonyesha vivuli laini sahihi kutoka kwa dirisha, mionekano mibaya kwenye sehemu za ngozi, na damu ya rangi kutoka kwa mkeka wa karibu.
Uboreshaji: Kadiri mtumiaji anavyosonga kibao karibu na chumba (mlolongo wa video), RNN inasasisha SGLV, na kuboresha muundo wa mwanga. Muonekano wa sofa unasasishwa kwa laini na kwa usawa, na kudumisha mwingiliano sahihi wa mwanga kutoka kwa maoni yote mapya bila kuwaka mara kwa mara.

Mfano huu unaonyesha faida kuu: ulinganifu wa nafasi (mwanga sahihi kwenye eneo la sofa), ulinganifu wa muda (sasisho laini), na uhalisia wa picha (uchoraji wa nyenzo changamano).

7. Matumizi ya Baadaye na Mwelekeo

Uwepo wa Mbali wa Kizazi Kijacho cha AR/VR: Kuwezesha avatars za kweli au washiriki wa mbali kuwa na mwanga unaolingana na mazingira ya ndani katika mawasiliano ya wakati halisi, na kuboresha kwa kiasi kikubwa kujikuta ndani.
Uzalishaji wa Baada ya Filamu na Mchezo: Kuwaruhusu wasanii wa athari za kuona kutabiri haraka na kuiga mwanga wa seti kwa ujumuishaji laini wa vipengele vya CGI kwenye sahani za vitendo vya moja kwa moja, hata kutoka kwa filamu ya kumbukumbu ndogo.
Uonyeshaji wa Usanifu na Mali: Kuunda matembezi ya kuingiliana ambapo mwanga kwenye samani ya kawaida unasasishwa kwa uhalisia wa picha kadiri mteja anavyochunguza muundo wa 3D wa nafasi isiyokamilika.
Robott na AI Iliyojikuta: Kuwapa roboti uelewa mzuri wa mwanga wa eneo, na kusaidia katika utambuzi wa nyenzo, urambazaji, na upangaji wa mwingiliano.
Mwelekeo wa Utafiti wa Baadaye: 1) Ufanisi: Kuchunguza usambazaji wa maarifa, ukandamizaji wa neural wa SGLV, au viharakishaji maalum vya vifaa. 2) Uthabiti: Kufundisha kwenye seti za data mseto za sintetiki-kweli au kutumia mbinu za kujisimamia kujenga daraja la pengo la sim-to-real. 3) Ujumla: Kupanua mfumo kwa mwanga unaobadilika (k.m., kuwasha/kuzima taa, kusonga vyanzo vya mwanga) na mazingira ya nje. 4) Miundo Iliyounganishwa: Kutabiri pamoja mwanga, jiometri, na sifa za nyenzo kutoka kwa video kwa njia ya mwisho-hadi-mwisho.

8. Marejeo

Li, Z., Yu, L., Okunev, M., Chandraker, M., & Dong, Z. (2023). Spatiotemporally Consistent HDR Indoor Lighting Estimation. ACM Transactions on Graphics (TOG).
Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. Proceedings of the IEEE International Conference on Computer Vision (ICCV).
LeGendre, C., Ma, W., Fyffe, G., Flynn, J., Charbonnel, L., Busch, J., & Debevec, P. (2019). DeepLight: Learning Illumination for Unconstrained Mobile Mixed Reality. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
OpenRooms Dataset. (n.d.). An open dataset for indoor scene understanding. Retrieved from the project's official website or academic repository.
Mildenhall, B., Srinivasan, P. P., Tancik, M., Barron, J. T., Ramamoorthi, R., & Ng, R. (2020). NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. Communications of the ACM. (Iliyotajwa kwa muunganisho wa dhana kwa uwakilishi wa eneo la 3D).