Ua avea le faapuupuuga GPT, i ni nai tausaga puʻupuʻu, ma faʻailoga o se faʻalavelave tele faʻatekonolosi. I tua atu o nei mataʻitusi e tolu o loʻo i ai se suiga faʻataʻitaʻi: ua tatou siitia mai meafaigaluega faʻakomepiuta e faʻaaogaina e poloaiga i paʻaga faʻatekinolosi numera tatou te talatalanoa ma i latou. Ina ia malamalama moni i le tele o lenei suiga, e tatau i se tasi ona vaʻavaʻai i lalo ma suʻesuʻe le faiga faigata o lenei atamai.
I. Fa'amatalaga Fa'atekinolosi: Pou e Tolu o le Fa'apu'upu'uga
O le GPT o lona uiga o le Generative Pre-trained Transformer. O upu taʻitasi e faʻamatalaina ai se laʻasaga taua i le fatuina o le faʻataʻitaʻiga.
1. Tuputupu A'e
I le lalolagi o le atamai faʻapitoa, e masani ona faia se eseesega i le va o ituaiga e lua o faʻataʻitaʻiga: faʻailoga tagata ma le faʻatupuina.
- O se faʻataʻitaʻiga faʻailoga tagata mata'ituina fa'amaumauga ma tu'uina atu i ai se fa'ailoga (e pei o le, "O se ata lea o se pusi").
- O se faʻataʻitaʻiga faʻatuputupu, e pei o le GPT, e sili atu lona alualu i luma. E faʻavae i lona malamalama, e mafai ona ia gaosia ni faʻamatalaga fou e leʻi iai muamua. Afai ua uma ona ia iloiloina le faitau miliona o solo, o le a le taulotoina taʻitasi; o le a ia fatuina se tasi fou, e tusa ai ma tulafono o le fati ma le fua ua ia "malamalama i ai."
2. Ua uma ona a'oa'oina
O iinei e iai le malosiaga mata. A'o le'i o'o atu i lau laupepa, na ui atu le fa'ata'ita'iga i se vaega tele o le a'oa'oina. Va'ai faalemafaufau i se faletusi o lo'o i ai se vaega tele o le initaneti i le lalolagi atoa: le Wikipedia atoa, faletusi numera, fonotaga talanoaga (e pei o le Reddit), nofoaga teu fa'amatalaga komepiuta (GitHub), ma fa'amaumauga o tala fou.
Mo le tele o masina, i luga o le faitau afe o masini fa'akomepiuta malolosi, na "faitau" ai e le fa'ata'ita'iga lenei tusitusiga e le gata ina ia a'oa'oina ni mea moni patino, ae fa'apea fo'i le fausaga loloto o le gagana lava ia. O lenei "a'oa'oga muamua" e mafai ai e le fa'ata'ita'iga ona taunu'u mai ma se tala'aga fa'aleaganuu ma gagana lautele a'o le'i mauaina lana fesili muamua.
3. Suia
O le alualu i luma faasaienisi lea o le 2017, na afua mai i se pepa suʻesuʻega a Google na faaulutalaina “ Attention Is All You Need .” A o leʻi iai le Transformer, e faitau e faʻataʻitaʻiga a le AI ia fuaiupu i lea upu ma lea upu, i le faasologa (recurrent models). Peitaʻi, e tilotilo le Transformer i se fuaiupu atoa ma i le taimi e tasi.
Fa’afetai i se faiga e ta’ua o le Attention, e mafai ona fuaina le taua o upu ta’itasi e tusa ai ma isi. I le fuaiupu “ E le’i sopo’ia e le manu le auala ona ua vaivai tele ,” ua malamalama le Transformer o le “ it ” e fa’atatau i le manu. Afai e fa’ai’u le fuaiupu i le “ ona ua lautele tele ,” e vave ona malamalama o le “it” e fa’atatau i le auala. O lenei tomai e malamalama ai i se tala fa’asolopito faigata o le mea lea e lagona ai e le GPT ni tali fa’aletagata.
II. O se tala fa'asolopito pu'upu'u o le evolusione: Mai le GPT-1 i le GPT-5
O le tala o le GPT o se tala e uiga i le tuputupu aʻe vave, lea e faʻamalosia e le kamupani OpenAI.
O le alafa'i (GPT-1 ma le GPT-2)
I le 2018, na fa'ata'atia ai e le GPT-1 le fa'avae. E mafai ona fa'atino ni galuega faigofie, ae sa pu'upu'u lona manatua. I le 2019, na fa'ateleina tele ai le GPT-2 ma le 1.5 piliona parakalafa (o feso'ota'iga i totonu o le fa'ata'ita'iga). Na matua'i tomai lava i le fatuina o tusitusiga e ogatasi ma na fa'atuai muamua ai le OpenAI e fa'alauiloa, ona o le popole ne'i fa'aaogaina e fatu ai ni fa'amatalaga sese i le tele o pisinisi.
O le Pā (GPT-3 ma le 3.5)
I le 2020, na sopoʻia ai e le GPT-3 se pa puipui faʻalemafaufau ma le 175 piliona parakalafa. O se manu feʻai faʻakomepiuta. Ua lē na o se faaliliu po o se tusitala; ua mafai ona mafaufau lelei ma faʻailogaina i le tele o gagana faʻapolokalame. O le lomiga GPT-3.5 na avea ma afi mo le faʻalauiloaina faʻalauaʻitele o le ChatGPT ia Novema 2022, ma mafua ai ona lauiloa i le lalolagi atoa.
Matua (GPT-4 ma tua atu)
Na fa'alauiloa i le 2023, o le GPT-4 e tele ona vaega. E mafai ona iloiloina ata, fo'ia fa'afitauli faigata fa'amatematika, ma fa'aalia ai le maualuga o le fatufatuga. Na fa'aleleia lona sa'o e fa'aitiitia ai "fa'aaliga taufa'ase'e" (taimi e fatuina ai ma le mautinoa e le AI ni mea moni).
Fesootai: ChatGPT-5 e le fa'atapula'aina ma leai se totogi i luga o le Free AI Online
III. Galuega i Totonu: O se Masini e Fa'atatau i le Avanoa
E feteenai ma talitonuga taatele, e leai ni "mafaufauga" po o ni manatu o le GPT. O lana galuega e na'o fuainumera, ae i se tulaga lautele e fa'ata'ita'i ai le atamai.
A taina e se tagata faʻaoga se fesili, e liua e le faʻataʻitaʻiga upu taʻitasi i se faasologa o numera e taʻua o le embeddings (poʻo le vectorization). O nei numera e mafai ai ona tuʻu upu i totonu o se avanoa faʻamatematika e faitau afe fua. I lenei avanoa, o le upu "Tupu" e latalata faʻamatematika i le "Masiofo" poʻo le "Palealii."
O le faagasologa o le tali atu o se faasologa o valoʻaga:
- E iloilo e le faʻataʻitaʻiga le vave.
- E fuafua po o le fea upu (po o le "faailoga") e sili ona maualuga le avanoa e amata ai le tali.
- O le taimi lava e filifilia ai lena upu, ona toe fa'aopoopoina lea i lana auiliiliga e vavalo ai le isi upu.
- E toe fai lava lea faiga seia oo ina oo atu i se tulaga e muta ai.
O le mea e mataʻina ai le iʻuga, o le GPT e lē filifilia i taimi uma le upu e sili ona ono tupu (lea e ono fai soo ai ma lē fiafia ai), ae faʻaaogaina se seti o le "vevela" (pulea faʻafuaseʻi) e sui ai lona sitaili ma lona fatufatuga.
IV. O le laasaga taua: Fa'atulagaina o tagata (RLHF)
Afai e te tuʻuina atu i se masini le initaneti atoa e faitau, e ono iʻu ai i le avea ma se tagata sauā pe tuʻuina atu ni fautuaga mataʻutia, auā o loʻo iai i le initaneti mea sili ona lelei ma mea sili ona leaga o tagata.
Ina ia avea le GPT ma se mea e "ta'uta'ua," e fa'aaoga e le OpenAI le Reinforcement Learning from Human Feedback (RLHF). E faitau afe tagata su'e na fegalegaleai ma lomiga muamua o le fa'ata'ita'iga, ma fa'avasega tali: "O se tali lelei lenei," "E le migao lenei," "E sese lenei."
E ala i lenei faagasologa, na aʻoaʻoina ai e le AI le faʻaaogaina o le tulaga o se fesoasoani fesoasoani, le faaituau, ma e noatia i amioga mama. O lenei vaega mulimuli e liua ai le tekonolosi mata i se oloa e faʻatau atu i le lautele.
V. Luʻitau ma tapulaʻa
E ui i lona mana, ae o le GPT o se meafaigaluega e iai ona vaega e le o vaaia:
- FaʻafiafiagaTalu ai ona e taumafai e talitonuina fa'amaumauga, e ono fatuina ai se talaaga o le olaga po'o se punaoa fa'aletulafono e le o iai, ona e fetaui lelei lava upu "e foliga tutusa".
- Leai se malamalamaE leai se mea e lagona e le GPT. E leai sona malamalama i le lalolagi faaletino. Afai e faʻamatalaina pe faʻapefea ona kuka se omelet, e le iloa poʻo le a le vevela poʻo le manogi o se fuamoa; e naʻo le sootaga faʻa-gagana i le va o na manatu e iloa.
- Tau o le siosiomagaO le a'oa'oina ma le fa'aogaina o nei fa'ata'ita'iga e mana'omia ai le tele o le eletise ma le vai (e fa'amālūlū ai 'au'aunaga).
iʻuga
E sili atu le GPT nai lo na o se polokalama faakomepiuta e fa'agaoioia ai upu. O se fausaga fa'alemafaufau. E pei lava ona fa'atagaina e le eletise le fa'amasiniina o galuega fa'aletino, ua amata fo'i ona fa'aautomatika e le GPT nisi o ituaiga o galuega fa'alemafaufau.
I le malamalama o le GPT o lona uiga o le Generative (foafoaga), Pre-trained (malamalamaaga tele), ma le Transformer (malamalamaaga i le tulaga), e mafai ona tatou malamalama atili ai i le mafuaʻaga o lenei tekinolosi o se suiga tele. Ua na o le amataga o le suʻesuʻeina o mea o le a aumaia e nei faʻataʻitaʻiga mama ma atamai i le saienisi, aʻoaʻoga, ma le foafoaga faatufugaga.
