Taa Katika Mwendo (LIMO) inatoa mbinu mpya ya msingi wa usambazaji kwa ukadiriaji wa taa za HDR za muda na nafasi kutoka kwa video ya monokula. Changamoto kuu inayoshughulikiwa ni kuingiza vitu au waigizaji mtandaoni kwa uhalisia katika picha halisi, kazi muhimu katika uzalishaji mtandao, uhalisia wa kuongezwa, na athari za kuona. Mbinu za jadi hutegemea vipimo vya taa halisi, ambavyo vinavuruga na havifai katika hali nyingi. LIMO inawezesha hili kwa kukadiria taa ambazo ni zimewekwa kwenye nafasi (hubadilika kulingana na nafasi ya 3D), zinaendana kwa wakati (hubadilika kadri wakati unavyopita), na zinashika anuwai kamili ya HDR kutoka kwa mwanga wa kudhihirika hadi vyanzo vya mwanga mkali, ndani na nje ya nyumba.
Karatasi hii inadai kuwa mbinu ya jumla ya ukadiriaji wa taa lazima itimize uwezo tano: 1) Kuwekwa kwenye nafasi katika eneo maalum la 3D, 2) Kukabiliana na mabadiliko ya wakati, 3) Utabiri sahihi wa mwangaza wa HDR, 4) Kushughulikia vyanzo vya mwanga vya karibu (ndani) na vya mbali (nje), na 5) Ukadiriaji wa usambazaji wa taa unaowezekana na maelezo ya mzunguko wa juu. LIMO imewekwa kama mfumo wa kwanza wa umoja unaolenga yote matano.
Ingizo: Picha ya monokula au mlolongo wa video na nafasi ya lengo ya 3D. Mchakato: 1) Tumia kikadiriaji cha kina cha monokula kilichopo tayari (mfano, [5]) kupata kina kwa kila pikseli. 2) Kokotoa ramani mpya za masharti ya jiometri kutoka kwa kina na nafasi ya lengo. 3) Weka masharti kwa mfano ulioboreshwa wa usambazaji na ramani hizi ili kutoa utabiri wa tufe za kioo na zilizotawanyika kwa kufichua nyingi. 4) Changanya utabiri huu kuwa ramani ya mwisho ya mazingira ya HDR.
Waandishi wanatambua kuwa kina pekee hutoa uwakilishi usiokamilika wa eneo la tukio kwa taa za mitaa. Wanaleta masharti ya ziada ya jiometri ambayo yanaweka nafasi ya jamaa ya jiometri ya eneo la tukio kwa uhakika wa lengo. Hii inahusisha kuwakilisha vekta au uwanja wa umbali wenye ishara kutoka kwa uhakika wa lengo hadi nyuso zilizozunguka, ikitoa dalili muhimu za kuzuiwa na ukaribu wa chanzo cha mwanga ambazo ramani za kina pekee hazina.
LIMO imejengwa juu ya mfano wa usambazaji wa siri uliofunzwa awali (mfano, Usambazaji Thabiti). Inaboreshwa kwenye seti kubwa ya maalum ya maeneo ya ndani na nje, kila moja ikiwa na vipimo vya taa vya HDR vilivyopangwa kwa muda na nafasi vilivyoshikiliwa katika nafasi mbalimbali. Ingizo la masharti limebadilishwa ili kupokea ramani za jiometri (kina + nafasi ya jamaa) pamoja na picha ya RGB. Mfano unafunzwa kuondoa kelele kutoka kwa ramani ya onyesho la tufe ya kioo au ramani ya mnururisho wa tufe iliyotawanyika katika kiwango maalum cha kufichua.
Ufundishaji unaweza kuhusisha chaguo la hasara linalochanganya hasara za mtazamo (mfano, LPIPS) kwa maelezo na hasara za L1/L2 kwa usahihi wa mwangaza, sawa na mbinu katika kazi za kutafsiri picha-hadi-picha kama zile zilizoanzishwa na Isola et al. katika Pix2Pix.
Uvumbuzi wa kiufundi wa msingi kwa ujenzi upya wa HDR uko katika utabiri na uchanganyaji wa kufichua nyingi. Acha $I_{m}^{e}(x)$ na $I_{d}^{e}(x)$ ziwakilisha picha za tufe za kioo na zilizotawanyika zilizotabiriwa kwa kufichua $e$ kwa nafasi ya lengo $x$. Ramani ya mwisho ya mazingira ya HDR $L_{env}(\omega)$ inajengwa upya kwa kutatua tatizo la uboreshaji kupitia uchoraji unaoweza kutofautishwa:
$$ L_{env} = \arg\min_{L} \sum_{e} \left\| R(L, e) - \{I_{m}^{e}, I_{d}^{e}\} \right\|^2 $$
Ambapo $R(L, e)$ ni kichoraji kinachoweza kutofautishwa ambacho hulinganisha picha iliyoundwa kwenye tufe ya kioo/iliyotawanyika na ramani ya mazingira $L$ kwa kufichua $e$. Hii inahakikisha uthabiti wa kimwili katika kufichua na aina za tufe.
Karatasi hii inaweza kutathmini kwa kutumia vipimo vya kawaida vya ukadiriaji wa taa na usanisi wa mtazamo mpya:
LIMO inadai kuwa imeweka matokeo ya hali ya juu katika usahihi wa udhibiti wa nafasi na uaminifu wa utabiri ikilinganishwa na kazi za zamani kama [15, 23, 25, 26, 28, 30, 35, 41, 50].
Kielelezo 1 katika PDF kinaonyesha matokeo muhimu: 1) Kuwekwa sahihi kwenye nafasi: Kitu mtandaoni kinaonyesha kivuli na vivuli sahihi wakati kimewekwa katika nafasi tofauti kwenye chumba. 2) Uthabiti wa wakati: Taa kwenye kitu mtandaoni hubadilika kwa uhalisia kadri kamera inavyosogea. 3) Matumizi ya uzalishaji mtandao: Mwigizaji aliyeshikiliwa kwenye jukwaa la taa ameingizwa kwa uhalisia katika eneo halisi kwa kutumia taa zilizokadiriwa na LIMO, kuonyesha onyesho halisi na ujumuishaji.
Matokeo yanaonyesha kuwa LIMO inatabiri kwa mafanikio maelezo ya mzunguko wa juu (mfano, fremu za dirisha, onyesho tata) na anuwai pana ya mwangaza (mfano, jua kali dhidi ya pembe nyeusi).
Uchunguzi wa uondoaji ungehakikisha uchaguzi muhimu wa muundo: 1) Athari ya masharti mapya ya jiometri: Kuonyesha kuwa mifano iliyowekwa masharti kwenye kina pekee hutoa taa zilizowekwa kwenye nafasi zisizo sahihi. 2) Utabiri wa kufichua nyingi dhidi ya kufichua moja: Kuonyesha uhitaji wa mfumo wa kufichua nyingi kwa ajili ya kupata anuwai kamili ya HDR. 3) Ujuzi wa mfano wa usambazaji: Kulinganisha uboreshaji wa mfano wa msingi wenye nguvu dhidi ya kufunza mtandao maalum kutoka mwanzo.
Ufahamu wa Msingi: Uvumbuzi wa msingi wa LIMO sio tu uboreshaji mdogo zaidi katika usahihi wa ukadiriaji wa taa. Ni mabadiliko ya kimkakati kutoka uelewa wa eneo la tukio kwa ujumla hadi muktadha wa taa unaoweza kutekelezwa na uliowekwa mitaani. Wakati mbinu za zamani kama Gardner et al. [15] au Srinivasan et al. [41] zilichukulia taa kama mali ya eneo lote la tukio, LIMO inatambua kuwa kwa ajili ya kuingiza kwa vitendo, taa katika voxel maalum ambapo kitu chako cha CG kimeketi ndicho kinachohitajika. Hii inabadilisha dhana kutoka "Taa za chumba hiki ni zipi?" hadi "Taa hapa ni zipi?" – swali lenye thamani zaidi kwa mifumo ya VFX.
Mtiririko wa Kimantiki: Usanifu wa kiufundi ni wa vitendo kwa ustadi. Badala ya kumlazimisha mtandao mmoja kutoa ramani tata ya HDR yenye mwelekeo mwingi moja kwa moja—kazi ngumu ya urejeshaji—LIMO inatenganisha tatizo. Inatumia mfano wenye nguvu wa kuzalisha (usambazaji) kama "mdanganyifu wa maelezo," uliowekwa masharti kwenye dalili rahisi za jiometri, ili kutoa uchunguzi wa wakala (picha za tufe). Hatua tofauti ya uchanganyaji inayotegemea fizikia (uchoraji unaoweza kutofautishwa) kisha hutatua uwanja wa msingi wa taa. Utenganishaji huu wa "ujuzi wa msingi wa kujifunza" na "kizuizi cha fizikia" ni muundo thabiti, unaokumbusha jinsi NeRF inavyochanganya uwanja wa mnururisho uliojifunza na milinganyo ya uchoraji wa kiasi.
Nguvu na Kasoro: Nguvu kuu ni azma yake ya kujumuisha. Kukabiliana na uwezo wote watano katika mfano mmoja ni hatua ya ujasiri ambayo, ikiwa imefanikiwa, inapunguza kwa kiasi kikubwa utata wa mfumo. Matumizi ya ujuzi wa usambazaji kwa maelezo ya mzunguko wa juu pia ni ya busara, ikitumia uwekezaji wa mabilioni ya dola wa jamii katika mifano ya msingi. Hata hivyo, kasoro muhimu iko katika mnyororo wake wa utegemezi. Ubora wa masharti ya jiometri (kina + nafasi ya jamaa) ni muhimu zaidi. Makosa katika ukadiriaji wa kina wa monokula—hasa kwa nyuso zisizo za Lambert au zilizo wazi—yatapenyeza moja kwa moja kwenye utabiri mbaya wa taa. Zaidi ya hayo, utendaji wa mbinu hii katika maeneo yenye mwendo mkubwa na vyanzo vya mwanga vinavyosogea kwa kasi au mabadiliko makubwa ya mwangaza (mfano, kugeuza swichi la taa) bado ni swali wazi, kwani utaratibu wa masharti ya wakati haujaelezwa kwa kina.
Ufahamu Unaoweza Kutekelezwa: Kwa studio za VFX na timu za uzalishaji mtandao, ujumbe wa haraka ni kujaribu kwa shinikizo kuwekwa kwenye nafasi. Usitathmini tu kwenye picha zisizosogea; songa kitu mtandaoni kwenye njia na angalia kwa mwenge au mabadiliko yasiyo ya kawaida ya taa. Utegemezi wa ukadiriaji wa kina unapendekeza mbinu mchanganyiko: kutumia LIMO kwa ukadiriaji wa awali, lakini kuruhusu wasanii kuboresha matokeo kwa kutumia vipimo vya urahisi vya ulimwengu halisi (mfano, mpira mmoja wa chrome uliopigwa kwenye seti) kusahihisha makosa ya kimfumo. Kwa watafiti, hatua inayofuata wazi ni kufunga pengo la kikoa. Seti ya data ya uboreshaji ndio ufunguo. Kushirikiana na studio kuunda seti kubwa na tofauti ya data halisi ya eneo la tukio/LiDAR/vipimo vya taa—kama vile Waymo ilivyofanya kwa ajili ya kuendesha gari moja kwa moja—kingebadilisha mchezo, kukiendeleza uwanja huu zaidi ya data halisi ya kisintetiki au iliyopunguzwa.