Akronīms GPT tikai dažu gadu laikā ir kļuvis par nopietna tehnoloģiska pārrāvuma simbolu. Aiz šiem trim burtiem slēpjas paradigmas maiņa: mēs esam pārgājuši no skaitļošanas rīkiem, ko manipulē ar komandām, uz digitāliem līdzstrādniekiem, ar kuriem mēs veidojam dialogu. Lai patiesi izprastu šīs revolūcijas apmērus, ir jāieskatās zem pārsega un jāizpēta šī intelekta sarežģītā mehānika.
I. Tehniskā definīcija: akronīma trīs pīlāri
GPT apzīmē Ģeneratīvo iepriekš apmācīto transformatoru (Ģenerative Pre-treated Transformer). Katrs termins apraksta svarīgu modeļa izveides posmu.
1. Ģeneratīvs
Mākslīgā intelekta pasaulē tradicionāli tiek izšķirti divu veidu modeļi: diskriminatīvais un ģeneratīvais.
- Diskriminējošs modelis novēro datus un piešķir tiem etiķeti (piemēram, “Šī ir kaķa fotogrāfija”).
- Ģeneratīvs modelis, tāpat kā GPT, iet tālāk. Balstoties uz savām zināšanām, tas spēj radīt pilnīgi jaunus datus, kas iepriekš nepastāvēja. Ja tas ir analizējis miljoniem dzejoļu, tas tos neskaitīs no galvas; tas sacerēs jaunu, ievērojot atskaņu un metra noteikumus, ko tas ir "sapratis".
2. Iepriekš apmācīts
Šeit slēpjas neapstrādātais spēks. Pirms nonākšanas jūsu ekrānā modelis piedzīvoja milzīgu mācīšanās fāzi. Iedomājieties bibliotēku, kurā ir ietverta milzīga daļa no globālā interneta: visa Vikipēdija, digitālās bibliotēkas, diskusiju forumi (piemēram, Reddit), datoru koda krātuves (GitHub) un ziņu arhīvi.
Mēnešiem ilgi, izmantojot tūkstošiem jaudīgu procesoru, modelis “lasīja” šo tekstu, lai apgūtu ne tikai konkrētus faktus, bet arī pašas valodas dziļo struktūru. Šī “iepriekšējā apmācība” ļauj modelim iegūt universālu kultūras un lingvistisko pieredzi, pirms tas pat saņem savu pirmo jautājumu.
3. Transformators
Šis bija 2017. gada zinātniskais sasniegums, kura pamatā bija Google pētījuma raksts ar nosaukumu “ Uzmanība ir viss, kas jums nepieciešams ”. Pirms Transformera mākslīgā intelekta modeļi lasīja teikumus vārds pa vārdam, secībā (rekurenti modeļi). Savukārt Transformers aplūko teikumu kopumā un vienlaicīgi.
Pateicoties mehānismam, ko sauc par Uzmanību, tas var izvērtēt katra vārda nozīmi attiecībā pret citiem. Teikumā “ Dzīvnieks nešķērsoja ielu , jo tas bija pārāk noguris” Transformers saprot, ka “ tas ” attiecas uz dzīvnieku. Ja teikums beidzas ar “ jo tas bija pārāk plats ”, tas uzreiz saprot, ka “tas” attiecas uz ielu. Šī spēja aptvert sarežģītu kontekstu ir tas, kas padara GPT atbildes tik cilvēciskas.
Saistīts: ChatGPT nedarbojas? Kāpēc rodas mākslīgā intelekta kļūmes un kā bez maksas piekļūt labākajiem GPT
II. Īsa evolūcijas vēsture: no GPT-1 līdz GPT-5
GPT stāsts ir par eksponenciālu izaugsmi, ko virza uzņēmums OpenAI.
Atmoda (GPT-1 un GPT-2)
2018. gadā GPT-1 lika pamatus. Tas varēja veikt vienkāršus uzdevumus, taču tā atmiņa bija īsa. 2019. gadā GPT-2 ievērojami palielinājās līdz 1.5 miljardiem parametru (modeļa iekšējās saiknes). Tas kļuva tik prasmīgs saskaņota teksta ģenerēšanā, ka OpenAI sākotnēji vilcinājās to izlaist, baidoties, ka tas tiks izmantots rūpnieciska mēroga dezinformācijas radīšanai.
Sprādziens (GPT-3 un 3.5)
2020. gadā GPT-3 šķērsoja psiholoģisko barjeru ar 175 miljardiem parametru. Tas bija skaitļošanas zvērs. Tas vairs nebija tikai tulkotājs vai rakstnieks; tas kļuva spējīgs loģiski spriest un kodēt desmitiem programmēšanas valodu. GPT-3.5 versija kalpoja par dzinēju ChatGPT publiskai palaišanai 2022. gada novembrī, izraisot globālu sensāciju.
Briedums (GPT-4 un tālāk)
GPT-4, kas tika izlaists 2023. gadā, ir multimodāls. Tas var analizēt attēlus, risināt sarežģītas matemātiskas problēmas un demonstrēt daudz augstāku radošuma līmeni. Tā precizitāte ir uzlabota, lai samazinātu "halucinācijas" (brīžus, kad mākslīgais intelekts pārliecinoši izdomā faktus).
Saistīts: Neierobežota un bezmaksas tērzēšanaGPT-5 vietnē Free AI Online
III. Iekšējā darbība: varbūtību mašīna
Pretēji izplatītajam uzskatam, GPT nepiemīt “domas” vai viedokļi. Tā darbība ir tīri statistiska, bet tik plašā mērogā, ka tā simulē intelektu.
Kad lietotājs ieraksta vaicājumu, modelis pārveido katru vārdu skaitļu secībā, ko sauc par iegulšanu (vai vektorizāciju). Šie skaitļi ļauj ievietot vārdus matemātiskā telpā ar tūkstošiem dimensiju. Šajā telpā vārds “karalis” ir matemātiski tuvs vārdam “karalis” vai “kronis”.
Atbildes process ir virkne prognožu:
- Modelis analizē tūlītēja.
- Tas aprēķina, kurš vārds (vai “žetons“) ir vislielākā varbūtība uzsākt atbildi.
- Kad šis vārds ir izvēlēts, tas tiek izmantots analīzei, lai paredzētu nākamo vārdu.
- Tas atkārto šo procesu, līdz sasniedz beigu punktu.
Rezultātu iespaidīgu padara tas, ka GPT ne vienmēr izvēlas visticamāko vārdu (kas padarītu to atkārtotu un garlaicīgu), bet gan izmanto “temperatūras” iestatījumu (kontrolētu nejaušību), lai mainītu savu stilu un radošumu.
IV. Izšķirošais solis: Cilvēka līdzsvarošana (RLHF)
Ja vienkārši dodat mašīnai lasīšanai visu internetu, pastāv risks, ka tā kļūs agresīva vai sniegs bīstamus padomus, jo internetā ir gan cilvēces labākās, gan sliktākās īpašības.
Lai padarītu GPT “personificētāku”, OpenAI izmanto pastiprinājuma mācīšanos no cilvēku atsauksmēm (RLHF). Tūkstošiem cilvēku testētāju mijiedarbojās ar modeļa agrīnajām versijām, novērtējot atbildes: “Šī ir laba atbilde”, “Tas ir rupji”, “Tas ir nepatiesi”.
Šajā procesā mākslīgais intelekts iemācījās ieņemt izpalīdzīga, neitrāla un ētiski saistoša asistenta stāju. Šis pēdējais slānis pārveido neapstrādātu tehnoloģiju par masveida tirgus produktu.
V. Izaicinājumi un ierobežojumi
Neskatoties uz savu jaudu, GPT joprojām ir instruments ar aklajiem punktiem:
- HalucinācijasTā kā tā cenšas būt statistiski ticama, tā var izdomāt biogrāfiju vai juridisku avotu, kas neeksistē, vienkārši tāpēc, ka vārdi "skan" pareizi kopā.
- Apziņas trūkumsGPT neko nejūt. Tam nav izpratnes par fizisko pasauli. Ja tas izskaidro, kā pagatavot omleti, tas nezina, kas ir karstums vai olas smarža; tas zina tikai lingvistisko saistību starp šiem jēdzieniem.
- Vides izmaksasŠo modeļu apmācībai un darbināšanai ir nepieciešams ievērojams elektrības un ūdens patēriņš (serveru dzesēšanai).
Secinājumi
GPT ir daudz vairāk nekā tikai teksta apstrādes programmatūra. Tā ir kognitīvā infrastruktūra. Tāpat kā elektrība ļāva mehanizēt fizisko darbu, GPT sāk automatizēt noteiktas intelektuālā darba formas.
Saprotot, ka GPT apzīmē Ģeneratīvo (radīšana), Iepriekš apmācīto (masveida zināšanas) un Transformējošo (kontekstuāla izpratne), mēs varam labāk izprast, kāpēc šī tehnoloģija iezīmē pagrieziena punktu. Mēs esam tikai sākumposmā, lai izpētītu, ko šie arvien vieglākie un inteliģentākie modeļi sniegs zinātnei, izglītībai un mākslinieciskajai jaunradei.
