Održana jednodnevna radionica „Kako rade veliki jezični modeli i generativna umjetna inteligencija”

Na Fakultetu elektrotehnike, strojarstva i brodogradnje u Splitu je, u ponedjeljak, 27. studenog 2023. održana jednodnevna radionica “Kako rade veliki jezični modeli i generativna umjetna inteligencija”.

 

 

Voditeljica radionice doc. dr. sc. Maja Braović upoznala je sudionike radionice s velikim jezičnim modelima i generativnom umjetnom inteligencijom, pri čemu su svi sudionici imali prilike koristiti resurs za napredno računanje u oblaku “Vrančić”.

Kada je bilo riječi o generativnom predtreniranju LLM (Large Language Model) objašnjeno je kako se nastoje naučiti vjerojatnosti s kojima se određene riječi pojavljuju iza nekih drugih riječi i/ili iza niza riječi te da je potrebno imati tekstualnu bazu podataka na kojoj se ove vjerojatnosti trebaju naučiti. U sljedećem koraku radi se nadzirano fino podešavanje LLM modela koje uključuje izgradnju baze podataka koja se sastoji od razgovora između dvoje ljudi – jedan predstavlja potencijalnog korisnika koji postavlja pitanja, a drugi na njih odgovara kao idealni chatbot. Tu problemi nastaju zbog različitih jezika, male količine podataka za treniranje modela i problema prilikom optimizacije. Ako greške nastanu već na početku razgovora, moguće je da LLM model na pitanja čovjeka odgovara s netočnim ili besmislenim podacima jer vjerojatnost vezana za te podatke može biti jako velika. Ovo dovodi do toga da je LLM model siguran u svoje odgovore, iako su pogrešni. Ovo se stanje naziva UI halucinacija. Tu nastupaju UI treneri koji najprije razgovaraju s trenutnim LLM modelom i provjeravaju alternativne odgovore.

 
Jedan od zaključaka vezan uz izazove LLM modela:

• skupi su za treniranje i održavanje.
• dugo se treniraju.
• ne postoji generalno prihvaćena metoda za njihovu evaluaciju.
• nije jasno kako upravljati sa privatnošću i zaštitom podataka i intelektualnog vlasništva. Smiju li se koristiti svi podaci na internetu za treniranje ovakvih modela

Radionica je organizirana u suradnji Fakulteta elektrotehnike, strojarstva i brodogradnje u Splitu i Sveučilišnog računskog centra (Srce), u okviru projekta National Competence Centers in Framework of EuroHPC Phase 2 (EuroCC2) financiranog iz programa Digitalna Europa.