Ukadiriaji wa Mwangaza wa Nje Kwa Kina: Mbinu ya CNN Kutoka kwa Picha Moja ya LDR

Orodha ya Yaliyomo

1. Utangulizi

Kupata mwangaza sahihi wa eneo kutoka kwa picha moja ni tatizo la msingi na lisilowekwa vizuri katika taswira ya kompyuta, lenye umuhimu kwa matumizi kama vile uhalisia wa kuongezwa (AR), uhariri wa picha, na uelewa wa eneo. Karatasi "Ukadiriaji wa Mwangaza wa Nje Kwa Kina" inashughulikia changamoto hii hasa kwa mazingira ya nje. Mbinu za jadi zinategemea dalili wazi kama vivuli au zinahitaji makadirio mazuri ya jiometri, ambayo mara nyingi hayakuaminiki. Kazi hii inapendekeza suluhisho linaloendeshwa na data, linaloishia hapo, kwa kutumia Mtandao wa Neva za Convolutional (CNN) kukadiria vigezo vya mwangaza wa nje wenye anuwai ya juu ya mwangaza (HDR) moja kwa moja kutoka kwa picha moja ya anuwai ya chini ya mwangaza (LDR).

2. Mbinu

Ubunifu wa msingi hauko tu katika muundo wa CNN, bali pia katika mfuatano mwerevu wa kuunda seti kubwa ya data ya mafunzo ambapo ukweli wa mwangaza wa HDR ni haba.

2.1. Uundaji wa Seti ya Data & Kufaa Mfumo wa Anga

Waandishi wanazuia ukosefu wa data ya LDR-HDR iliyowekwa pamoja kwa kutumia seti kubwa ya data ya panoramas za nje. Badala ya kutumia panoramas moja kwa moja (ambazo ni LDR), wanafaa mfumo wa anga wa chini-dimensional, unaotegemea fizikia—mfumo wa anga wa Hošek-Wilkie—kwenye maeneo ya anga yanayoonekana katika kila panorama. Utaratibu huu unabana mwangaza tata wa duara kuwa seti madogo ya vigezo (k.m., msimamo wa jua, uchafuzi wa anga). Picha zilizokatwa, zenye uwanja mdogo wa mtazamo, hutolewa kutoka kwa panoramas, na kuunda seti kubwa ya data ya jozi za (picha ya LDR, vigezo vya anga) kwa mafunzo.

2.2. Muundo wa CNN & Mafunzo

CNN inafunzwa kukadiria kutoka kwa picha ya LDR ya pembejeo hadi vigezo vya mfumo wa anga wa Hošek-Wilkie. Wakati wa majaribio, mtandao unatabiri vigezo hivi kwa picha mpya, ambayo kisha hutumiwa kuunda ramani kamili ya mazingira ya HDR, na kuwezesha kazi kama uingizaji wa vitu vya uwongo vinavyoonekana kama halisi (kama inavyoonyeshwa kwenye Kielelezo 1 cha PDF).

3. Maelezo ya Kiufundi & Uundaji wa Kihisabati

Mfumo wa anga wa Hošek-Wilkie ndio kiini. Unaelezea mwangaza $L(\gamma, \theta)$ katika sehemu fulani ya anga, ikizingatiwa umbali wa pembe kutoka kwa jua $\gamma$ na pembe ya zeniti $\theta$, kupitia mfululizo wa maneno ya kihisia:

$L(\gamma, \theta) = L_{zenith}(\theta) \cdot \phi(\gamma) \cdot f(\chi, c)$

ambapo $L_{zenith}$ ni usambazaji wa mwangaza wa zeniti, $\phi$ ni kitendakazi cha kutawanyika, na $f$ huzingatia kuzorota karibu na jua. CNN inajifunza kutabiri vigezo vya mfumo (kama msimamo wa jua $\theta_s, \phi_s$, uchafuzi $T$, n.k.) ambayo hupunguza tofauti kati ya matokeo ya mfumo na anga ya panorama iliyozingatiwa. Kitendakazi cha hasara wakati wa mafunzo kwa kawaida ni mchanganyiko wa hasara ya L1/L2 kwenye vekta ya vigezo na hasara ya mtazamo kwenye picha zilizotengenezwa kwa kutumia mwangaza uliotabiriwa.

4. Matokeo ya Majaribio & Tathmini

4.1. Tathmini ya Kiasi

Karatasi inaonyesha utendaji bora zaidi ikilinganishwa na mbinu za awali kwenye seti ya data ya panoramas na seti tofauti ya ramani za mazingira za HDR zilizokamatwa. Vipimo huenda vikiwemo kosa la pembe katika msimamo wa jua uliotabiriwa, RMSE kwenye vigezo vya mfumo wa anga, na vipimo vya msingi wa picha (kama SSIM) kwenye utengenezaji wa vitu vilivyoangazwa kwa mwangaza uliotabiriwa dhidi ya ukweli wa msingi.

4.2. Matokeo ya Ubora & Uingizaji wa Vitu vya Uwongo

Ushahidi wenye mvuto zaidi ni wa kuona. Mbinu hutoa skydomes za HDR zinazoweza kukubalika kutoka kwa pembejeo mbalimbali za LDR moja. Inapotumika kuangazia vitu vya uwongo vilivyoingizwa kwenye picha asili, matokeo yanaonyesha kivuli cha thabiti, vivuli, na miale ya mwanga inayolingana na eneo, na inazidi kwa kiasi kikubwa mbinu za awali ambazo mara nyingi huleta mwangaza ulio sawa au usioendana.

5. Mfumo wa Uchambuzi: Uelewa wa Msingi & Mtiririko wa Mantiki

Uelewa wa Msingi: Ujanja wa karatasi ni njia mbadala ya vitendo kwa tatizo la "Data Kubwa" katika taswira. Badala ya kazi isiyowezekana ya kukusanya mamilioni ya jozi za ulimwengu halisi (LDR, uchunguzi wa HDR), wao hutengeneza usimamizi kwa kuunganisha seti kubwa ya data ya panoramas ya LDR lakini isiyokamilika na mfumo wa anga wa fizikia ulio madogo na unaoweza kutofautishwa. CNN haijifunzi kutoa saizi za HDR za kiholela; inajifunza kuwa "mtengenezaji wa kinyume" thabiti kwa mfumo maalum, uliofafanuliwa vizuri wa fizikia. Hili ni kazi yenye vikwazo zaidi, inayoweza kujifunza.

Mtiririko wa Mantiki: Mfuatano ni mzuri na mstari: 1) Injini ya Data: Panorama -> Faa Mfumo -> Toa Kilimo -> Jozi ya (Picha, Vigezo). 2) Kujifunza: Funza CNN kwenye mamilioni ya jozi kama hizo. 3) Utabiri: Picha Mpya -> CNN -> Vigezo -> Mfumo wa Hošek-Wilkie -> Ramani Kamili ya HDR. Mtiririko huu unatumia mfumo wa fizikia kwa ujanja kama kompresa ya data kwa mafunzo na mtengenezaji kwa matumizi. Unafanana na mafanikio ya mbinu zinazofanana za "kujifunza kwa kina kulingana na mfumo" zilizoona katika nyanja zingine, kama kutumia viigaji vya fizikia vinavyoweza kutofautishwa katika robotiki.

6. Nguvu, Kasoro & Ufahamu Unaoweza Kutekelezwa

Nguvu:

Uwezo wa Kuongezeka & Utendaji: Njia ya uundaji wa seti ya data ni bora na inaweza kuongezeka, na kugeuza rasilimali inayopatikana kwa urahisi (panoramas) kuwa data ya mafunzo ya hali ya juu.
Uwezekano wa Fizikia: Kwa kukadiria vigezo vya mfumo wa fizikia, matokeo yanakuwa ya kukubalika zaidi na yanaweza kuhaririwa kuliko matokeo ya HDR ya "sanduku nyeusi".
Matokeo Mazuri: Ushindani dhahiri wa mbinu za awali kwenye kazi za ulimwengu halisi kama uingizaji wa vitu ndio uthibitisho wake wa mwisho.

Kasoro & Vikwazo:

Kutegemea Mfumo: Mbinu hii imewekwa kikomo kimsingi na uwezo wa kuelezea wa mfumo wa Hošek-Wilkie. Haiwezi kupata vipengele vya mwangaza ambavyo mfumo hauwezi kuwakilisha (k.m., umbile tata la mawingu, vyanzo tofauti vya mwanga kama taa za barabarani).
Kutegemea Anga: Inahitaji eneo la anga linaloonekana katika picha ya pembejeo. Utendaji hupungua au kushindwa kwa maeneo ya chini ya ardhi au maeneo ya ndani-nje yenye mtazamo mdogo wa anga.
Ujumla kwa Mwangaza Usio wa Anga: Kama ilivyoelezwa kwenye PDF, lengo ni mwanga wa anga. Mbinu hii haielezi mwanga wa pili unaorudiwa au mwanga unaojitokeza kutoka ardhini, ambao unaweza kuwa muhimu.

Ufahamu Unaoweza Kutekelezwa:

Kwa Watekelezi (AR/VR): Hili ni suluhisho linalokaribia kuwa tayari kwa uzalishaji kwa uingizaji wa vitu vya AR ya nje. Mfuatano ni rahisi kiasi kutekeleza, na kutegemea mfumo wa kawaida wa anga hufanya iweze kufanya kazi na injini za kawaida za utengenezaji (Unity, Unreal).
Kwa Watafiti: Wazo la msingi—kutumia mfumo wa mbele uliorahisishwa, unaoweza kutofautishwa kuunda data ya mafunzo na muundo wa matokeo ya mtandao—linaweza kubebeka sana. Fikiria: kukadiria vigezo vya nyenzo kwa mtengenezaji anayeweza kutofautishwa kama Mitsuba, au vigezo vya kamera kwa mfumo wa tundu. Hili ndilo mchango wa kudumu zaidi wa karatasi hii.
Hatua Zinazofuata: Mabadiliko ya wazi ni kuunganisha mbinu hii. Unganisha mfumo wa anga wa vigezo na CNN ndogo ya mabaki inayotabiri "ramani ya makosa" au vipengele vya ziada visivyo vya vigezo kushughulikia mawingu na mwangaza tata wa mijini, na kuendelea zaidi ya vikwazo vya mfumo huku ukibaki na faida zake.

7. Matumizi ya Baadaye & Mwelekeo wa Utafiti

Uhalisia wa Kuongezwa: Toleo la wakati halisi, kwenye kifaa kwa AR ya rununu, na kuwezesha ujumuishaji unaoaminika wa maudhui ya kidijitali kwenye picha yoyote ya nje au mkondo wa video.
Upigaji Picha & Utayarishaji wa Baadae: Zana za kiotomatiki kwa wapiga picha na wafanyafilamu wa kitaalamu kufananisha mwangaza kati ya picha au kuingiza vipengele vya CGI kwa usawa.
Mifumo ya Kujitegemea & Robotiki: Kutoa uelewa kamili zaidi wa mwangaza wa eneo kwa ajili ya mtazamo ulioboreshwa, hasa kwa kutabiri vivuli na mwanga mkali.
Utengenezaji wa Neva & Taswira ya Kinyume: Kutumika kama moduli thabiti ya ukadiriaji wa mwangaza ndani ya mifuatano mikubwa ya "utenganishaji wa eneo" ambayo pia inakadiria jiometri na nyenzo, sawa na upanuzi wa kazi kutoka MIT CSAIL kwenye utenganishaji wa picha za ndani.
Hali ya Hewa & Uundaji wa Mazingira: Kuchambua mkusanyiko mkubwa wa picha za kihistoria za nje ili kukadiria hali ya anga (uchafuzi, viwango vya chembechembe) kwa muda.

8. Marejeo

Hold-Geoffroy, Y., Sunkavalli, K., Hadap, S., Gambaretto, E., & Lalonde, J. F. (2018). Deep Outdoor Illumination Estimation. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
Hošek, L., & Wilkie, A. (2012). An Analytic Model for Full Spectral Sky-Dome Radiance. ACM Transactions on Graphics (TOG), 31(4), 95.
Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. In Proceedings of the IEEE International Conference on Computer Vision (ICCV). (CycleGAN, kama mfano wa kujifunza bila data iliyowekwa pamoja).
Barron, J. T., & Malik, J. (2015). Shape, Illumination, and Reflectance from Shading. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 37(8), 1670-1687. (Mfano wa mbinu za jadi za picha za ndani).
MIT Computer Science & Artificial Intelligence Laboratory (CSAIL). Intrinsic Images in the Wild. http://opensurfaces.cs.cornell.edu/intrinsic/ (Mfano wa utafiti unaohusiana na seti za data).