UniLight: Uwakilishi Umoja wa Taa Wenye Mbinu Nyingi kwa Kompyuta ya Kuona na Michoro

2.1. Nafasi ya Pamoja ya Siri ya UniLight

Nafasi ya pamoja ya siri $\mathcal{Z}$ ni nafasi ya vekta yenye vipimo vingi (kwa mfano, vipimo 512). Lengo ni kujifunza seti ya kazi za kiingizaji $E_m(\cdot)$ kwa kila mbinu $m \in \{\text{maandishi}, \text{picha}, \text{mnururisho}, \text{ramani ya mazingira}\}$ ili kwa eneo fulani la taa $L$, uwakilishi wake uwe sawa bila kujali mbinu ya pembejeo: $E_{\text{maandishi}}(L_{\text{maandishi}}) \approx E_{\text{picha}}(L_{\text{picha}}) \approx E_{\text{ramani ya mazingira}}(L_{\text{ramani ya mazingira}})$.

2.2. Viingizaji Maalum kwa Mbinu Husika

• Kiingizaji cha Maandishi: Kinalenga mfano wa lugha uliofunzwa awali kama kiingizaji cha maandishi cha CLIP, kilichorekebishwa kutoa mantiki ya taa kutoka kwa maelezo (kwa mfano, "jua lenye mwangaza kutoka kulia").
• Kiingizaji cha Picha: Transformer ya Kuona (ViT) huchakata picha iliyotolewa ya kitu kilicho chini ya taa lengwa, ikilenga vivuli na kivuli ili kukisia mwanga.
• Viingizaji vya Mnururisho/Ramani ya Mazingira: Mitandao maalum ya convolutional au transformer huchakata uwakilishi huu wa muundo wa panorama 2D.

2.3. Malengo ya Mafunzo: Hasara ya Kulinganisha na Ya Ziada

Mfano unafundishwa kwa mchanganyiko wa hasara:

1. Hasara ya Kulinganisha (InfoNCE): Hii ndiyo kiini cha usawa. Kwa kundi la jozi za data zenye mbinu nyingi $(x_i, x_j)$ zinazowakilisha taa sawa ya msingi, huvuta uingizaji wao pamoja huku ukisukuma mbali uingizaji kutoka kwa maeneo tofauti ya taa. Hasara kwa jozi chanya $(i, j)$ ni: $$\mathcal{L}_{cont} = -\log\frac{\exp(\text{sim}(z_i, z_j) / \tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k) / \tau)}$$ ambapo $\text{sim}$ ni ufanani wa cosine na $\tau$ ni kigezo cha joto.
2. Hasara ya Ziada ya Utabiri wa Harmonics za Duara (SH): Ili kukamata wazi sifa za mwelekeo, kichwa kidogo cha MLP kinachukua uingizaji wa pamoja $z$ na kutabiri viwango vya uwakilishi wa harmonics za duara wa shahada ya 3 wa taa. Hasara ni urejeshaji rahisi wa $L_2$: $\mathcal{L}_{sh} = ||\hat{SH}(z) - SH_{gt}||^2$. Hii hufanya kama kirahisishi, kuhakikisha msimbo wa siri una maelezo yenye maana ya kijiometri.

Hasara ya jumla ni $\mathcal{L}_{total} = \mathcal{L}_{cont} + \lambda \mathcal{L}_{sh}$, ambapo $\lambda$ huwiana malengo hayo mawili.

3.1. Utaftaji Kulingana na Taa

Kazi: Kwa swali katika mbinu moja (kwa mfano, maandishi), tafuta mifano ya taa inayofanana zaidi kutoka kwa hifadhidata ya mbinu nyingine (kwa mfano, ramani za mazingira).
Matokeo: UniLight hufanya vizuri zaidi kuliko misingi inayotumia sifa maalum za mbinu (kwa mfano, uingizaji wa CLIP kwa maandishi-picha). Inafikia usahihi wa juu wa utaftaji wa juu-k, ikionyesha kuwa nafasi ya pamoja imekamata kwa mafanikio mantiki ya taa kati ya mbinu. Kwa mfano, swali "nje, jua lenye mwangaza na la moja kwa moja kutoka kulia juu" limetafuta kwa mafanikio ramani za mazingira zenye mwangaza wa jua wenye nguvu, wenye mwelekeo kutoka kwa robo sahihi.

3.2. Uzalishaji wa Ramani ya Mazingira

Kazi: Weka masharti kwa mfano wa kuzalisha (kama GAN au mfano wa msambao) kwenye uingizaji wa UniLight kutoka kwa mbinu yoyote ya pembejeo ili kuunda ramani mpya ya mazingira yenye azimio la juu.
Matokeo: Ramani za mazingira zilizozalishwa zinaonekana kuwa za kukubalika na zinalingana na sifa za taa za pembejeo ya masharti (nguvu, rangi, mwelekeo). Karatasi inaweza kutumia vipimo kama FID (Fréchet Inception Distance) au masomo ya watumiaji kupima ubora. Uchunguzi muhimu ni kwamba uingizaji wa umoja hutoa ishara ya masharti yenye ufanisi zaidi kuliko pembejeo mbichi au zilizochakatwa kwa urahisi kutoka kwa mbinu moja.

3.3. Udhibiti wa Taa katika Uundaji wa Picha

Kazi: Kudhibiti mwanga wa kitu au eneo linalozalishwa na mfano wa msambao kwa kutumia hali ya taa iliyotolewa kama maandishi, picha, au ramani ya mazingira.
Matokeo: Kwa kuingiza uingizaji wa UniLight katika mchakato wa msambao (kwa mfano, kupitia umakini wa kuvuka au kama vekta ya ziada ya masharti), mfano unaweza kubadilisha taa ya picha iliyozalishwa huku ukihifadhi yaliyomo. Hili ni matumizi yenye nguvu kwa mifuatano ya ubunifu. Karatasi inaonyesha ulinganisho ambapo maelezo sawa ya eneo hutoa picha chini ya hali tofauti sana za taa zilizobainishwa na mtumiaji.

4.1. Uelewa wa Msingi

Mafanikio ya msingi ya UniLight sio muundo mpya wa mtandao wa neva, bali ni urekebishaji wa kimkakati wa tatizo la uwakilishi wa taa. Badala ya kufuata faida ndogo ndogo katika kukadiria ramani za mazingira kutoka kwa picha (njia iliyotembelea sana na faida zinazopungua, kama inavyoonekana katika mkia mrefu wa kazi zinazofuata kazi ya msingi ya Gardner et al.), waandishi wanashambulia sababu ya msingi ya kutofaa: mabanda ya mbinu. Kwa kuchukulia taa kama dhana ya kwanza, ya kufikirika inayoweza kuonyeshwa kwa maandishi, picha, au ramani, wanaunda "lugha ya kawaida" kwa mwanga. Hii inakumbusha mabadiliko ya dhana yaliyoletwa na CLIP kwa kazi za lugha-kuona, lakini inatumika hasa kwenye nyanja iliyowekwa mipaka, yenye msingi wa fizikia ya taa. Thamani halisi ya pendekezo ni utangamano, ambao hufungua uwezo wa kuunganishwa katika mifuatano ya ubunifu na uchambuzi.

4.2. Mtiririko wa Kimantiki

Utekelezaji wa kiufundi hufuata mantiki yenye maana, yenye hatua tatu: Linganisha, Boresha, na Tumia. Kwanza, lengo la kujifunza kwa kulinganisha hufanya kazi nzito ya usawa, likilazimisha viingizaji kutoka nyanja tofauti za hisi kukubaliana kwenye maelezo ya kawaida ya nambari ya eneo la taa. Hili si rahisi, kwani uchoraji ramani kutoka kwa mfuatano wa maandishi hadi ramani ya mnururisho wa panorama hauna uhakika sana. Pili, utabiri wa harmonics za duara hufanya kama utangulizi wa kirahisishi muhimu. Huingiza ujuzi wa nyanja (taa ina muundo wenye nguvu wa mwelekeo) ndani ya nafasi ya siri inayotegemea tu data, na hivyo kuzuia isianguke kuwa uwakilishi wa mwonekano wa juu. Hatimaye, uingizaji safi, usioegemea mbinu, unakuwa moduli ya kuziba-na-kucheza kwa kazi za mwisho. Mtiririko kutoka tatizo (mgawanyiko wa mbinu) hadi suluhisho (uingizaji wa umoja) hadi matumizi (utaftaji, uzalishaji, udhibiti) ni laini kwa ustadi na una motisha nzuri.

4.3. Nguvu & Kasoro

Nguvu:

• Muundo wa Kivitendo: Kujenga juu ya miundo iliyokua (ViT, CLIP) hupunguza hatari na kuharakisha maendeleo.
• Kazi ya Ziada ni Hekima: Utabiri wa SH ni hila ya gharama nafuu, yenye athari kubwa. Ni njia ya moja kwa moja ya kuingiza ujuzi wa michoro, ikishughulikia udhaifu wa jadi wa kujifunza kwa kulinganisha tu ambao unaweza kupuuza jiometri kamili.
• Utofauti Ulioonyeshwa: Kuthibitisha matumizi katika kazi tatu tofauti (utaftaji, uzalishaji, udhibiti) ni ushahidi wa kuvutia wa uwakilishi thabiti, sio ujanja mmoja tu.

Kasoro & Maswali Yasiyojibiwa:

• Kina cha Data: Mfuatano umejengwa kutoka kwa ramani za mazingira. Ubora na utofauti wa nafasi ya pamoja vimewekwa mipaka kimsingi na seti hii ya data. Inaishije kushughulikia taa zilizostailishwa sana au zisizo za kifizikia zilizoelezewa kwa maandishi?
• Masharti ya "Sanduku Nyeusi": Kwa usanisi wa picha, uingizaji huingizwaje? Karatasi haiko wazi hapa. Ikiwa ni muunganisho rahisi, udhibiti wa kina laini unaweza kuwa na mipaka. Njia za kisasa zaidi kama marekebisho ya mtindo wa ControlNet yanaweza kuhitajika kwa marekebisho sahihi.
• Pengo la Tathmini: Vipimo kama FID kwa ramani za mazingira zilizozalishwa ni vya kawaida lakini si kamili. Hakuna tathmini ya kiasi kwa matumizi ya kusisimua zaidi—udhibiti wa taa katika miundo ya msambao. Tunapimaje uaminifu wa taa iliyohamishwa?

4.4. Uelewa Unaoweza Kutekelezwa

Kwa watafiti na timu za bidhaa:

1. Kipaumbele Kiingizaji kama API: Nafasi ya haraka ni kufunga kiingizaji cha UniLight kilichofunzwa awali kama huduma. Programu za ubunifu (suti ya Adobe yenyewe, Unreal Engine, Blender) zinaweza kuitumia kuruhusu wasanii kutafuta hifadhidata za taa kwa michoro au bodi za hisia, au kutafsiri kati ya aina za taa kwa urahisi.
2. Panua kwa Taa ya Kimuundo: Kazi ya sasa ni tuli. Upeo unaofuata ni kuunganisha uwakilishi kwa taa inayobadilika kwa wakati (video, mfuatano wa mwanga). Hii ingebadilisha kabisa uangazaji upya kwa video na vyombo vya mawasiliano.
3. Tathmini Kwa Ukali: Jamii inapaswa kuunda viwango vya kawaida vya kazi za taa kati ya mbinu ili kuendelea zaidi ya maonyesho ya ubora. Seti ya data yenye ukweli wa jozi katika mbinu zote kwa seti ya hali za taa inahitajika.
4. Chunguza Kazi za "Kinyume": Ikiwa unaweza kwenda kutoka picha hadi uingizaji, je, unaweza kwenda kutoka uingizaji hadi taa ya parametric inayoweza kuhaririwa (kwa mfano, seti ya taa za eneo la kuwaziwa)? Hii ingeunganisha pengo kati ya uwakilishi wa neva na zana za vitendo, zinazofaa kwa msanii.