Akronim GPT je, za samo nekoliko godina, postao simbol velikog tehnološkog poremećaja. Iza ova tri slova krije se promjena paradigme: prešli smo s računarskih alata manipuliranih naredbama na digitalne saradnike s kojima komuniciramo. Da bismo zaista shvatili razmjere ove revolucije, moramo zaviriti ispod haube i ispitati složenu mehaniku ove inteligencije.
I. Tehnička definicija: Tri stuba akronima
GPT je skraćenica za Generativni Pre-trained Transformer (Generativni Pre-obučeni Transformer). Svaki termin opisuje ključnu fazu u kreiranju modela.
1. Generativno
U svijetu umjetne inteligencije tradicionalno se razlikuje dva tipa modela: diskriminativni i generativni.
- Diskriminativni model posmatra podatke i dodjeljuje im oznaku (npr. „Ovo je fotografija mačke“).
- Generativni model, kao i GPT, ide dalje. Na osnovu svog znanja, sposoban je da proizvede potpuno nove podatke koji ranije nisu postojali. Ako je analizirao milione pjesama, neće recitovati nijednu napamet; sastavit će novu, poštujući pravila rime i metra koja je "razumio".
2. Prethodno obučen
Tu leži sirova snaga. Prije nego što je stigao do vašeg ekrana, model je prošao kroz ogromnu fazu učenja. Zamislite biblioteku koja sadrži ogroman dio globalnog interneta: cijelu Wikipediju, digitalne biblioteke, forume za diskusiju (poput Reddita), repozitorije računarskog koda (GitHub) i arhivu vijesti.
Mjesecima, na hiljadama moćnih procesora, model je "čitao" ovaj tekst kako bi naučio ne samo specifične činjenice, već i duboku strukturu samog jezika. Ova "predtrening" omogućava modelu da dođe s univerzalnom kulturnom i lingvističkom pozadinom čak i prije nego što primi svoje prvo pitanje.
3. Transformator
Ovo je bio naučni proboj 2017. godine, koji je proizašao iz istraživačkog rada kompanije Google pod nazivom „ Pažnja je sve što vam treba “. Prije Transformera, modeli umjetne inteligencije čitali su rečenice riječ po riječ, po redu (rekurentni modeli). Međutim, Transformer posmatra rečenicu kao cjelinu i simultano.
Zahvaljujući mehanizmu koji se zove Pažnja, može procijeniti važnost svake riječi u odnosu na druge. U rečenici „ Životinja nije prešla ulicu jer je bila previše umorna “, Transformer razumije da se „ to “ odnosi na životinju. Ako se rečenica završava sa „ jer je bila preširoka “, odmah razumije da se „to“ odnosi na ulicu. Ova sposobnost shvatanja složenog konteksta je ono što čini GPT-ove odgovore tako ljudskim.
Povezano: ChatGPT ne radi? Zašto AI ima problema i kako besplatno pristupiti najboljim GPT-ovima
II. Kratka historija evolucije: Od GPT-1 do GPT-5
Priča o GPT-u je priča o eksponencijalnom rastu, vođenom kompanijom OpenAI.
Buđenje (GPT-1 i GPT-2)
U 2018. godini, GPT-1 je postavio temelje. Mogao je obavljati jednostavne zadatke, ali mu je memorija bila kratka. U 2019. godini, GPT-2 se značajno proširio sa 1.5 milijardi parametara (unutrašnje veze modela). Postao je toliko vješt u generiranju koherentnog teksta da je OpenAI u početku oklijevao da ga objavi, bojeći se da će biti korišten za stvaranje dezinformacija industrijskih razmjera.
Eksplozija (GPT-3 i 3.5)
U 2020. godini, GPT-3 je prešao psihološku barijeru sa 175 milijardi parametara. Bio je to računarska zvijer. Više nije bio samo prevodilac ili pisac; postao je sposoban za logičko razmišljanje i kodiranje u desetinama programskih jezika. Verzija GPT-3.5 poslužila je kao pokretač za javno lansiranje ChatGPT-a u novembru 2022. godine, izazvavši globalnu senzaciju.
Zrelost (GPT-4 i dalje)
Objavljen 2023. godine, GPT-4 je multimodalan. Može analizirati slike, rješavati složene matematičke probleme i prikazivati mnogo veći nivo kreativnosti. Njegova tačnost je poboljšana kako bi se smanjile "halucinacije" (trenuci u kojima vještačka inteligencija samouvjereno izmišlja činjenice).
Povezano: Neograničeni i besplatni ChatGPT-5 na besplatnoj AI online
III. Unutrašnje funkcionisanje: Mašina vjerovatnoće
Suprotno uvriježenom mišljenju, GPT nema "misli" ili mišljenja. Njegovo funkcioniranje je isključivo statističko, ali na tako velikoj skali da simulira inteligenciju.
Kada korisnik unese upit, model transformiše svaku riječ u niz brojeva koji se nazivaju ugrađivanja (ili vektorizacija). Ovi brojevi omogućavaju da se riječi smjeste u matematički prostor sa hiljadama dimenzija. U ovom prostoru, riječ "Kralj" je matematički blizu riječi "Kraljica" ili "Kruna".
Proces reagovanja je niz predviđanja:
- Model analizira brzo.
- Izračunava koja riječ (ili "token„) ima najveću vjerovatnoću pokretanja odgovora.
- Nakon što je ta riječ odabrana, vraća je u svoju analizu kako bi predvidio sljedeću riječ.
- Ponavlja ovaj proces sve dok ne dođe do završne tačke.
Ono što rezultat čini impresivnim jeste to što GPT ne bira uvijek najvjerovatniju riječ (što bi je učinilo repetitivnom i dosadnom), već koristi postavku "temperature" (kontrolisana slučajnost) kako bi mijenjao svoj stil i kreativnost.
IV. Ključni korak: Usklađivanje ljudi (RLHF)
Ako mašini jednostavno date cijeli internet za čitanje, ona rizikuje da postane agresivna ili da pruža opasne savjete, jer internet sadrži i najbolje i najgore od čovječanstva.
Da bi GPT bio „prilagođen osobama“, OpenAI koristi učenje potkrepljenjem iz ljudskih povratnih informacija (RLHF). Hiljade ljudskih testera su komunicirale s ranim verzijama modela, ocjenjujući odgovore: „Ovo je dobar odgovor“, „Ovo je nepristojno“, „Ovo je netačno“.
Kroz ovaj proces, vještačka inteligencija je naučila da zauzme stav korisnog, neutralnog i etički obavezujućeg asistenta. Ovaj završni sloj transformiše sirovu tehnologiju u proizvod za masovno tržište.
V. Izazovi i ograničenja
Uprkos svojoj moći, GPT ostaje alat sa slijepim tačkama:
- HalucinacijaBudući da nastoji biti statistički vjerodostojna, može izmisliti biografiju ili pravni izvor koji ne postoji, jednostavno zato što riječi "zvuče" dobro zajedno.
- Nedostatak svijestiGPT ne osjeća ništa. Nema razumijevanja fizičkog svijeta. Ako objašnjava kako se kuha omlet, ne zna šta je ljutina ili miris jajeta; zna samo lingvistički odnos između tih koncepata.
- Ekološki trošakObuka i pokretanje ovih modela zahtijeva značajnu potrošnju električne energije i vode (za hlađenje servera).
zaključak
GPT je mnogo više od običnog softvera za obradu teksta. To je kognitivna infrastruktura. Baš kao što je električna energija omogućila mehanizaciju fizičkog rada, GPT počinje automatizirati određene oblike intelektualnog rada.
Razumijevanjem da GPT označava Generativno (kreiranje), Pre-obučeno (masovno znanje) i Transformatorsko (kontekstualno razumijevanje), možemo bolje shvatiti zašto ova tehnologija označava prekretnicu. Tek smo na početku istraživanja šta će ovi sve lakši i inteligentniji modeli donijeti nauci, obrazovanju i umjetničkom stvaralaštvu.
