Mikä on diffuusiomalli ja miten se eroaa kielimallista

Aloitetaan ymmärtämällä mikä kuvageneraation moottori oikeasti on. Tämä on hyödyllistä, koska ymmärrys auttaa ohjaamaan kuvageneraatiota paljon paremmin ja tunnistamaan miksi joku pyyntö tuottaa loistavan kuvan ja toinen pyyntö tuottaa epäkelpoa. Aikaisemmissa moduuleissa puhuimme kielimalleista, jotka tuottavat tekstiä sana kerrallaan, valitsemalla todennäköisintä seuraavaa sanaa. Kuvageneraation moottori on kuitenkin erilainen. Sen tekninen nimi on diffuusiomalli, ja sen toimintaperiaate on hieman vastoin intuitiota. On hyvä tietää, että kaikki nykyiset johtavat kuvamallit eivät ole enää puhtaita diffuusiomalleja — osa yhdistää kuvan ja tekstin samaan multimodaaliin malliin tai rakentaa kuvaa autoregressiivisesti pala kerrallaan — mutta tässä opetettu perusperiaate (kohinasta ohjattu kuva ja sisäänrakennettu satunnaisuus) pätee silti hyvänä opetusesimerkkinä siitä, miten kuvageneraatio eroaa kielimallista. Diffuusiomalli on koulutettu purkamaan kohinaa. Kuvittele että otat kuvan ja peität sen vähitellen lumimyrskyllä, niin että lopulta vain valkoista kohinaa näkyy. Diffuusiomalli on koulutettu tekemään tämä prosessi käänteisesti: ottamalla valkoista kohinaa ja vähitellen 'paljastamalla' kuva sen alta. Käytännössä malli tekee tämän iteratiivisesti, vaiheittain, missä jokainen vaihe poistaa hieman kohinaa ja paljastaa rakennetta. Mitä tämä tarkoittaa käytännössä? Mallin lopputulos riippuu kahdesta asiasta: ohjeesta, jonka annat sille (esimerkiksi 'auringonlaskukuva merellä, lämmin sävy'), ja lähtökohinasta, josta se aloittaa. Eri kohina tuottaa eri kuvan samalla ohjeella, ja tämä on syy miksi sama pyyntö tuottaa erilaisia kuvia eri kerroilla. Diffuusiomallien voimaa on koulutusaineisto. Niitä on koulutettu sadoilla miljoonilla kuvilla, joista jokainen on yhdistetty kuvaukseen. Mallia opetetaan ymmärtämään, miten kuvauksen sanat liittyvät kuvan rakenteeseen. Kun pyydät 'auringonlasku merellä', malli on nähnyt tuhansia kuvauksia samalla teemalla, ja se osaa tuottaa kuvauksen tilastollisesti todennäköisimmän tulkinnan. Tästä seuraa kaksi tärkeää ominaisuutta, jotka vaikuttavat ohjeen kirjoittamiseen. Ensimmäinen ominaisuus: kuvageneraatio on hyvä siihen, mitä on usein nähty koulutusaineistossa. Tyypillisiä maisemia, esineitä ja tunnelmia se tuottaa erinomaisesti. Harvinaisempia, erityisempiä asioita se tuottaa heikommin tai virheellisesti. Toinen ominaisuus: pieni sanaero ohjeessa voi tuottaa selkeästi erilaisen kuvan. Sanan 'maisemavalokuva' lisääminen 'auringonlasku merellä' -ohjeeseen siirtää tuloksen valokuvallisemmaksi. Sanan 'akvarelli' lisääminen siirtää sen taidemaalauksen suuntaan. Tämä on harkittu valinta, ja siksi ohjeen kirjoittamiseen kannattaa kiinnittää huomiota. Hyvä kuvapyyntö sisältää tyypillisesti viisi elementtiä. Aihe: mitä kuvassa on. Esimerkki: nuori nainen pöydän ääressä työskentelemässä kannettavalla tietokoneella. Tyyli: mihin taidesuuntaan tai valokuvatyyliin tähdätään. Esimerkki: lämmin valokuvatyyli, dokumentaarinen sävy. Ympäristö: missä tilanne on. Esimerkki: lasiseinäinen toimistohuone, näkymä kaupunkiin taustalla. Valaistus: miten valo lankeaa. Esimerkki: pehmeä päivänvalo isosta ikkunasta, ei suoria varjoja. Tunnelma: minkä tunnelma kuvasta välittyy. Esimerkki: keskittynyt, rauhallinen, ammatillinen. Yhdistämällä nämä viisi saat huomattavasti paremman tuloksen kuin pelkällä 'henkilö työskentelemässä kannettavalla'. Joitakin asioita, joita diffuusiomalli ei vielä osaa kunnolla, vaikka tilanne paranee jatkuvasti. Käsien yksityiskohdat: kädet onnistuvat nykymalleilla useimmiten jo hyvin, mutta monimutkaisissa asennoissa sormet voivat yhä mennä pieleen. Tarkista kädet ennen julkaisua, jos ne ovat kuvassa näkyvästi esillä. Teksti kuvassa: lyhyet tekstit onnistuvat nykymalleilla usein, mutta pidempi teksti, tarkka typografia ja brändin fontit menevät yhä helposti pieleen. Varmista tärkeä teksti ja lisää se tarvittaessa kuvankäsittelyllä jälkeenpäin. Numerot ja tarkat yksityiskohdat: kelloissa, laitteissa ja mittatauluissa olevat numerot, täsmällinen tuotteen ulkonäkö ja monimutkainen infografiikka voivat yhä mennä pieleen. Tarkista nämä ja retusoi tarvittaessa jälkeenpäin. Yhteenveto: diffuusiomalli on poikkeuksellinen työkalu, mutta sen ominaisuudet ovat erilaiset kuin kielimallin. Hyvä ohje sisältää viisi elementtiä, ja vältettävät heikkousalueet on syytä tunnistaa etukäteen.

Kokeile nyt

Miksi diffuusiomalli tuottaa erilaisia kuvia samalla ohjeella?

Tallenna edistymisesi ja oma oppimisyhteenvetosi