Ang akronim na GPT ay naging, sa loob lamang ng ilang maikling taon, simbolo ng isang malaking pagkagambala sa teknolohiya. Sa likod ng tatlong letrang ito ay nakasalalay ang isang pagbabago sa paradigma: lumipat tayo mula sa mga kagamitan sa pag-compute na minamanipula ng mga utos patungo sa mga digital na kolaborator na ating nakakausap. Upang tunay na maunawaan ang laki ng rebolusyong ito, dapat tingnan ang ilalim ng hood at suriin ang masalimuot na mekanika ng katalinuhang ito.
I. Teknikal na Kahulugan: Ang Tatlong Haligi ng Akronim
Ang GPT ay nangangahulugang Generative Pre-trained Transformer. Ang bawat termino ay naglalarawan ng isang mahalagang yugto sa paglikha ng modelo.
1. Malikhain
Sa mundo ng artificial intelligence, tradisyonal na pinaghihiwalay ang dalawang uri ng modelo: discriminative at generative.
- Isang modelong diskriminatibo nagmamasid sa datos at nagtatalaga dito ng etiketa (hal., “Ito ay larawan ng isang pusa”).
- Isang modelong panggenerasyon, tulad ng GPT, ay higit pa rito. Batay sa kaalaman nito, kaya nitong gumawa ng mga ganap na bagong datos na wala pa noon. Kung milyun-milyong tula na ang nasuri nito, hindi nito isaulo ang pagbigkas; bubuo ito ng bago, na nirerespeto ang mga tuntunin ng tugma at sukat na "naunawaan" nito.
2. Paunang sinanay
Dito nakasalalay ang tunay na kapangyarihan. Bago pa man makarating sa iyong screen, ang modelo ay dumaan sa isang malawakang yugto ng pagkatuto. Isipin ang isang aklatan na naglalaman ng malawak na bahagi ng pandaigdigang internet: ang kabuuan ng Wikipedia, mga digital na aklatan, mga forum ng talakayan (tulad ng Reddit), mga repositoryo ng computer code (GitHub), at mga archive ng balita.
Sa loob ng ilang buwan, sa libu-libong high-powered processors, "binasa" ng modelo ang tekstong ito upang matutunan hindi lamang ang mga partikular na katotohanan, kundi pati na rin ang malalim na istruktura ng wika mismo. Ang "paunang pagsasanay" na ito ay nagbibigay-daan sa modelo na dumating na may unibersal na kultural at lingguwistikong background bago pa man nito matanggap ang unang tanong nito.
3. Transpormer
Ito ang siyentipikong tagumpay noong 2017, na nagmula sa isang papel pananaliksik ng Google na pinamagatang " Attention Is All You Need ." Bago ang Transformer, binabasa ng mga modelo ng AI ang mga pangungusap nang salita por salita, nang sunod-sunod (mga paulit-ulit na modelo). Gayunpaman, tinitingnan ng Transformer ang isang pangungusap nang buo at sabay-sabay.
Dahil sa isang mekanismong tinatawag na Attention, nasusukat nito ang kahalagahan ng bawat salita kaugnay ng iba. Sa pangungusap na “ Hindi tumawid ang hayop sa kalye dahil sa sobrang pagod nito ,” nauunawaan ng Transformer na ang “ ito ” ay tumutukoy sa hayop. Kung ang pangungusap ay nagtatapos sa “ dahil sa sobrang lapad nito ,” agad nitong nauunawaan na ang “ito” ay tumutukoy sa kalye. Ang kakayahang ito na maunawaan ang kumplikadong konteksto ang siyang dahilan kung bakit parang makatao ang mga tugon ng GPT.
II. Isang maikling kasaysayan ng ebolusyon: Mula GPT-1 hanggang GPT-5
Ang kwento ng GPT ay tungkol sa mabilis na paglago, na pinangunahan ng kumpanyang OpenAI.
Ang paggising (GPT-1 at GPT-2)
Noong 2018, inilatag ng GPT-1 ang pundasyon. Kaya nitong magsagawa ng mga simpleng gawain, ngunit maikli ang memorya nito. Noong 2019, lumawak nang malaki ang GPT-2 na may 1.5 bilyong parameter (ang mga panloob na koneksyon ng modelo). Naging napakahusay nito sa pagbuo ng magkakaugnay na teksto kaya't noong una ay nag-alangan ang OpenAI na ilabas ito, sa takot na magamit ito upang lumikha ng disinformation sa industriya.
Ang Pagsabog (GPT-3 at 3.5)
Noong 2020, nalampasan ng GPT-3 ang isang sikolohikal na hadlang na may 175 bilyong parametro. Isa itong halimaw sa komputasyon. Hindi na ito basta tagasalin o manunulat lamang; naging may kakayahan na itong lohikal na mangatwiran at mag-code sa dose-dosenang mga lengguwahe ng programming. Ang bersyong GPT-3.5 ang nagsilbing makina para sa pampublikong paglulunsad ng ChatGPT noong Nobyembre 2022, na nagdulot ng pandaigdigang sensasyon.
Pagkahinog (GPT-4 at Higit Pa)
Inilabas noong 2023, ang GPT-4 ay multimodal. Kaya nitong suriin ang mga imahe, lutasin ang mga kumplikadong problema sa matematika, at magpakita ng mas mataas na antas ng pagkamalikhain. Pinino ang katumpakan nito upang mabawasan ang mga "hallucinations" (mga sandali kung saan ang AI ay may kumpiyansang nag-iimbento ng mga katotohanan).
Kaugnay: Walang limitasyon at libreng ChatGPT-5 sa Libreng AI Online
III. Mga Panloob na Paggawa: Isang Makinang Probabilidad
Taliwas sa paniniwala ng marami, ang GPT ay walang "mga kaisipan" o opinyon. Ang paggana nito ay purong istatistikal, ngunit sa napakalawak na saklaw na ginagaya nito ang katalinuhan.
Kapag nagta-type ang isang user ng query, binabago ng modelo ang bawat salita sa isang pagkakasunod-sunod ng mga numero na tinatawag na embeddings (o vectorization). Ang mga numerong ito ay nagpapahintulot sa mga salita na mailagay sa isang matematikal na espasyo na may libu-libong dimensyon. Sa espasyong ito, ang salitang "Hari" ay halos kapareho ng matematikal na "Reyna" o "Korona."
Ang proseso ng pagtugon ay isang serye ng mga hula:
- Sinusuri ng modelo ang prompt.
- Kinakalkula nito kung aling salita (o "token") ang may pinakamataas na posibilidad na masimulan ang tugon.
- Kapag napili na ang salitang iyon, ibinabalik nito ito sa pagsusuri nito upang mahulaan ang susunod na salita.
- Inuulit nito ang prosesong ito hanggang sa umabot ito sa punto ng pagtatapos.
Ang nakakahanga sa resulta ay hindi palaging pinipili ng GPT ang pinakamalamang na salita (na magpapaulit-ulit at magpapabagot dito), ngunit gumagamit ito ng setting na "temperatura" (kinokontrol na randomness) upang baguhin ang estilo at pagkamalikhain nito.
IV. Ang mahalagang hakbang: Pag-align ng tao (RLHF)
Kung basta mo na lang ibibigay sa isang makina ang buong internet para basahin, nanganganib itong maging agresibo o magbigay ng mapanganib na payo, dahil ang internet ay naglalaman ng parehong pinakamahusay at pinakamasamang katangian ng sangkatauhan.
Para gawing "kaakit-akit" ang GPT, ginagamit ng OpenAI ang Reinforcement Learning from Human Feedback (RLHF). Libu-libong human tester ang nakipag-ugnayan sa mga naunang bersyon ng modelo, at binigyang-ranggo ang mga tugon na: "Magandang sagot ito," "Bastos ito," "Mali ito."
Sa pamamagitan ng prosesong ito, natuto ang AI na gamitin ang postura ng isang matulungin, neutral, at etikal na katulong. Ang huling layer na ito ang siyang nagbabago sa hilaw na teknolohiya tungo sa isang produktong pangmalawakang ginagamit sa merkado.
V. Mga Hamon at Limitasyon
Sa kabila ng kapangyarihan nito, ang GPT ay nananatiling isang kasangkapan na may mga blind spot:
- PagkakatalagaDahil hangad nitong maging kapani-paniwala sa istatistika, maaari itong mag-imbento ng isang talambuhay o isang legal na sanggunian na hindi naman umiiral, dahil lamang sa magkatugma ang mga salitang "tunog".
- Kawalan ng kamalayanWalang nararamdaman ang GPT. Wala itong pag-unawa sa pisikal na mundo. Kung ipaliwanag man nito kung paano magluto ng omelet, hindi nito alam kung ano ang init o ang amoy ng itlog; ang alam lamang nito ay ang ugnayang lingguwistika sa pagitan ng mga konseptong iyon.
- Gastos sa kapaligiranAng pagsasanay at pagpapatakbo ng mga modelong ito ay nangangailangan ng malaking kuryente at tubig (upang palamigin ang mga server).
Konklusyon
Ang GPT ay higit pa sa simpleng word-processing software. Ito ay isang cognitive infrastructure. Kung paanong ang kuryente ay nagpapahintulot sa mekanisasyon ng pisikal na paggawa, ang GPT ay nagsisimula nang mag-automate ng ilang uri ng intelektwal na paggawa.
Sa pamamagitan ng pag-unawa na ang GPT ay nangangahulugang Generative (paglikha), Pre-trained (napakalawak na kaalaman), at Transformer (pag-unawa sa konteksto), mas mauunawaan natin kung bakit ang teknolohiyang ito ay nagmamarka ng isang mahalagang punto. Nasa simula pa lamang tayo ng paggalugad kung ano ang maidudulot ng mga magaan at matatalinong modelong ito sa agham, edukasyon, at sining na paglikha.
