Miten haku ymmärtää merkityksen: embedding ja vektorikanta

Edellisellä oppitunnilla sanoimme, että haku löytää aineistosta kysymykseen liittyvät kohdat. Mutta miten se löytää oikeat kohdat, vaikka käyttäisit eri sanoja kuin dokumentissa? Jos kysyt vaikka miten irtisanon sopimuksen, hyvä haku löytää myös kohdan, jossa puhutaan sopimuksen päättämisestä, vaikka sana irtisanominen ei siinä esiinny. Tämä merkityksen ymmärtäminen perustuu kahteen käsitteeseen: embedding ja vektorikanta. Avataan ne selkokielellä, ilman matematiikkaa. Aloitetaan embeddingistä. Kuulit sen jo perusteet-kurssilla: embedding tarkoittaa tekstin muuntamista numerosarjaksi, joka kuvaa tekstin merkitystä. Ajattele sitä näin. Jokaiselle tekstinpätkälle annetaan kuin sijainti kartalla. Merkitykseltään lähellä toisiaan olevat tekstit saavat lähekkäiset sijainnit, ja eri aiheista kertovat tekstit kaukaiset. Sopimuksen irtisanominen ja sopimuksen päättäminen päätyvät kartalla lähelle toisiaan, koska ne tarkoittavat lähes samaa, vaikka sanat ovat eri. Tämä kartta ei ole tavallinen kaksiulotteinen kartta, vaan siinä on hyvin monta ulottuvuutta, jotta merkityksen eri puolet mahtuvat mukaan. Mutta periaate on sama kuin kartalla: läheisyys tarkoittaa merkityksen samankaltaisuutta. Sinun ei tarvitse ymmärtää numeroita tämän enempää. Riittää, että tiedät: embedding muuttaa merkityksen sijainniksi, jota voi verrata. Seuraavaksi vektorikanta. Kun jokainen aineistosi pätkä on muutettu tällaiseksi sijainniksi, ne kaikki tallennetaan paikkaan, jota kutsutaan vektorikannaksi. Se on tietovarasto, joka on rakennettu nimenomaan merkityssijaintien tallentamiseen ja nopeaan hakemiseen. Kun esität kysymyksen, myös kysymyksesi muutetaan sijainniksi samalla tavalla, ja vektorikanta etsii ne aineiston pätkät, joiden sijainti on lähinnä kysymyksesi sijaintia. Toisin sanoen se löytää merkitykseltään läheisimmät kohdat, ei vain ne joissa on samat sanat. Nyt koko ketju loksahtaa paikalleen. Haun ja generoinnin yhdistämisessä aineisto on etukäteen muutettu embeddingeiksi ja tallennettu vektorikantaan. Kun kysyt jotain, kysymyksesi muutetaan samalla tavalla, vektorikanta hakee merkitykseltään osuvimmat pätkät, ja ne annetaan mallille, joka muodostaa vastauksen. Tämä selittää, miksi haku löytää oikean kohdan, vaikka sanamuotosi olisi eri kuin dokumentissa. Se hakee merkityksen, ei sanojen, perusteella. Miksi tämä kannattaa tietää, vaikket itse rakenna tällaista järjestelmää? Kahdesta syystä. Ensinnäkin ymmärrät, miksi tällaiset työkalut joskus tuovat vastaukseen kohdan, joka ei sanoiltaan vastaa kysymystäsi mutta liittyy siihen merkitykseltään. Se ei ole virhe, vaan merkityshaun ominaisuus. Toiseksi ymmärrät, että haun laatu riippuu siitä, miten hyvin aineisto on jaettu pätkiin ja kuvattu. Jos vastaukset ovat huonoja, vika voi olla hakuvaiheessa, ei mallissa. Tärkein viesti on tämä. Embedding muuttaa merkityksen vertailukelpoiseksi sijainniksi, ja vektorikanta tallentaa nuo sijainnit ja hakee niistä lähimmät. Yhdessä ne tekevät mahdolliseksi sen, että tekoäly löytää suuresta aineistosta juuri oikeat kohdat merkityksen perusteella. Viimeisellä oppitunnilla kokoamme moduulin opit ja teet harjoituksen pitkän aineiston kanssa.

Kokeile nyt

Miksi merkityshaku löytää "sopimuksen päättäminen" -kohdan, vaikka kysyit "miten irtisanon sopimuksen"?

Tallenna edistymisesi ja oma oppimisyhteenvetosi