Lub npe luv GPT tau dhau los ua, hauv ob peb xyoos luv luv xwb, lub cim ntawm kev cuam tshuam loj heev ntawm thev naus laus zis. Tom qab peb tsab ntawv no muaj kev hloov pauv paradigm: peb tau hloov los ntawm cov cuab yeej suav lej uas tswj hwm los ntawm cov lus txib mus rau cov neeg koom tes digital uas peb sib tham nrog. Yuav kom nkag siab tiag tiag txog qhov loj ntawm qhov kev hloov pauv no, ib tug yuav tsum saib hauv qab lub hood thiab tshuaj xyuas cov txheej txheem nyuaj ntawm qhov kev txawj ntse no.
I. Kev Txhais Lus Txog Kev Siv Tshuab: Peb Lub Ntsiab Lus ntawm Lub Npe Luv
GPT sawv cev rau Generative Pre-trained Transformer. Txhua lo lus piav qhia txog theem tseem ceeb hauv kev tsim qauv.
1. Tsim Khoom
Hauv ntiaj teb ntawm kev txawj ntse dag, qhov sib txawv yog ib txwm ua ntawm ob hom qauv: kev faib tawm thiab kev tsim tawm.
- Ib qho qauv kev ntxub ntxaug saib cov ntaub ntawv thiab muab ib daim ntawv lo rau nws (piv txwv li, "Qhov no yog ib daim duab ntawm ib tug miv").
- Ib qho qauv tsim tawm, zoo li GPT, mus ntxiv. Raws li nws txoj kev paub, nws muaj peev xwm tsim cov ntaub ntawv tshiab kiag li uas tsis tau muaj ua ntej. Yog tias nws tau tshuaj xyuas ntau lab zaj paj huam, nws yuav tsis hais ib zaj los ntawm lub siab; nws yuav sau ib zaj tshiab, hwm cov cai ntawm rhyme thiab meter uas nws tau "nkag siab."
2. Kawm ua ntej
Qhov no yog qhov uas lub zog raw nyob. Ua ntej mus txog koj lub vijtsam, tus qauv tau dhau los ua ib theem kev kawm loj heev. Xav txog ib lub tsev qiv ntawv uas muaj ib feem loj ntawm lub ntiaj teb internet: tag nrho Wikipedia, cov tsev qiv ntawv digital, cov rooj sib tham (xws li Reddit), cov chaw khaws cov lej hauv computer (GitHub), thiab cov ntaub ntawv xov xwm.
Tau ntau lub hlis, ntawm ntau txhiab lub processors muaj zog heev, tus qauv "nyeem" cov ntawv no kom kawm tsis yog cov lus tseeb xwb, tab sis kuj kawm txog cov qauv lus tob tob. Qhov "kev cob qhia ua ntej" no tso cai rau tus qauv kom muaj keeb kwm kab lis kev cai thiab lus thoob ntiaj teb ua ntej nws tau txais nws cov lus nug thawj zaug.
3. Hloov pauv
Qhov no yog qhov kev tshawb pom tshiab hauv xyoo 2017, uas yog los ntawm Google daim ntawv tshawb fawb hu ua " Kev Mloog Zoo Yog Txhua Yam Koj Xav Tau ." Ua ntej Transformer, cov qauv AI nyeem cov kab lus ib lo lus zuj zus, raws li kev txiav txim (cov qauv rov ua dua). Txawm li cas los xij, Transformer saib ib kab lus ua ke thiab tib lub sijhawm.
Ua tsaug rau ib txoj kev hu ua Kev Mloog, nws tuaj yeem ntsuas qhov tseem ceeb ntawm txhua lo lus hauv kev sib raug zoo rau lwm lo lus. Hauv kab lus " Tus tsiaj tsis tau hla txoj kev vim nws nkees dhau lawm ," Transformer nkag siab tias " nws " hais txog tus tsiaj. Yog tias kab lus xaus nrog " vim nws dav dhau lawm ," nws tam sim ntawd nkag siab tias "nws" hais txog txoj kev. Lub peev xwm no los nkag siab txog cov ntsiab lus nyuaj yog qhov ua rau GPT cov lus teb zoo li tib neeg heev.
II. Keeb kwm luv luv ntawm kev hloov pauv: Los ntawm GPT-1 mus rau GPT-5
Zaj dab neeg ntawm GPT yog ib qho ntawm kev loj hlob exponential, tsav los ntawm lub tuam txhab OpenAI.
Qhov kev tsim tsa (GPT-1 thiab GPT-2)
Xyoo 2018, GPT-1 tau tsim lub hauv paus. Nws ua tau tej haujlwm yooj yim, tab sis nws lub cim xeeb luv luv. Xyoo 2019, GPT-2 tau nce qib ntau heev nrog 1.5 billion tus qauv (cov kev sib txuas sab hauv ntawm tus qauv). Nws tau txawj ntse heev ntawm kev tsim cov ntawv sib xws uas OpenAI thaum xub thawj tsis kam tso nws tawm, ntshai tias nws yuav raug siv los tsim cov ntaub ntawv tsis tseeb hauv kev lag luam.
Kev Tawg (GPT-3 thiab 3.5)
Xyoo 2020, GPT-3 tau hla dhau qhov teeb meem ntawm lub hlwb nrog 175 billion parameters. Nws yog ib tug tsiaj uas siv computer ua haujlwm. Nws tsis yog ib tug neeg txhais lus lossis ib tug kws sau ntawv xwb; nws tau muaj peev xwm xav txog thiab sau code hauv ntau hom lus programming. GPT-3.5 version tau ua lub cav rau kev tso tawm rau pej xeem ntawm ChatGPT thaum Lub Kaum Ib Hlis 2022, ua rau muaj kev xav thoob ntiaj teb.
Kev Loj Hlob (GPT-4 thiab Tshaj)
Tso tawm xyoo 2023, GPT-4 yog multimodal. Nws tuaj yeem tshuaj xyuas cov duab, daws cov teeb meem lej nyuaj, thiab ua kom pom kev muaj tswv yim ntau dua. Nws qhov tseeb tau raug txhim kho kom txo tau "kev pom tsis tseeb" (lub sijhawm uas AI tsim cov lus tseeb).
Txuas: ChatGPT-5 tsis txwv thiab pub dawb ntawm AI Online Dawb
III. Kev Ua Haujlwm Sab Hauv: Lub Tshuab Muaj Feem Yuav
Txawm hais tias neeg feem coob ntseeg li cas los xij, GPT tsis muaj "kev xav" lossis kev xav. Nws txoj haujlwm tsuas yog suav lej xwb, tab sis ntawm qhov ntsuas loj heev uas nws ua piv txwv txog kev txawj ntse.
Thaum tus neeg siv ntaus ib lo lus nug, tus qauv hloov txhua lo lus mus ua ib kab lus hu ua embeddings (lossis vectorization). Cov lej no tso cai rau cov lus kom muab tso rau hauv qhov chaw lej nrog ntau txhiab qhov ntev. Hauv qhov chaw no, lo lus "King" yog lej ze rau "Queen" lossis "Crown."
Cov txheej txheem teb yog ib qho kev kwv yees:
- Tus qauv tshuaj xyuas qhov sai li sai tau.
- Nws xam seb lo lus twg (lossis "token") muaj qhov feem ntau tshaj plaws ntawm kev pib teb.
- Thaum xaiv lo lus ntawd lawm, nws yuav muab nws rov qab los rau hauv nws qhov kev tshuaj xyuas kom kwv yees lo lus tom ntej.
- Nws rov ua qhov txheej txheem no kom txog thaum nws mus txog qhov kawg.
Qhov ua rau qhov tshwm sim zoo kawg nkaus yog tias GPT tsis ib txwm xaiv lo lus uas yuav zoo li feem ntau (uas yuav ua rau nws rov ua dua thiab tsis lom zem), tab sis siv qhov chaw "kub" (kev tswj hwm random) los hloov nws cov style thiab kev muaj tswv yim.
IV. Kauj ruam tseem ceeb: Kev sib haum xeeb ntawm tib neeg (RLHF)
Yog koj tsuas muab tag nrho lub internet rau ib lub tshuab nyeem xwb, nws yuav muaj kev pheej hmoo ua phem lossis muab cov lus qhia txaus ntshai, vim tias internet muaj ob qho tib si qhov zoo thiab qhov phem tshaj plaws ntawm tib neeg.
Yuav kom GPT "siv tau tus cwj pwm zoo," OpenAI siv Reinforcement Learning from Human Feedback (RLHF). Muaj ntau txhiab tus neeg sim ua haujlwm nrog cov qauv thaum ntxov, thiab lawv tau ntsuas cov lus teb: "Qhov no yog ib lo lus teb zoo," "Qhov no tsis zoo," "Qhov no tsis muaj tseeb."
Los ntawm cov txheej txheem no, AI tau kawm los txais yuav tus cwj pwm ntawm tus pab cuam uas pab tau, tsis muaj kev ntxub ntxaug, thiab muaj kev ncaj ncees. Cov txheej txheem kawg no hloov cov thev naus laus zis nyoos mus ua cov khoom lag luam loj.
V. Cov teeb meem thiab kev txwv
Txawm hais tias nws muaj zog, GPT tseem yog ib lub cuab yeej uas muaj qhov tsis pom kev:
- Kev Pom KevVim nws xav kom muaj kev ntseeg siab los ntawm kev suav lej, nws yuav tsim tau ib phau ntawv keeb kwm lossis ib qho chaw raug cai uas tsis muaj, tsuas yog vim cov lus "suab" sib haum ua ke.
- Tsis nco qabGPT tsis hnov โโdab tsi li. Nws tsis nkag siab txog lub ntiaj teb tiag tiag. Yog tias nws piav qhia txog yuav ua li cas ua noj omelet, nws tsis paub tias qhov kub lossis ntxhiab ntawm qe yog dab tsi; nws tsuas paub txog kev sib raug zoo ntawm cov ntsiab lus ntawd.
- Ib puag ncig tus nqiKev cob qhia thiab khiav cov qauv no xav tau hluav taws xob thiab dej ntau (kom txias cov servers).
xaus
GPT tsis yog tsuas yog software ua cov ntawv xwb. Nws yog ib qho chaw rau kev txawj ntse. Ib yam li hluav taws xob ua rau kev siv tshuab ua haujlwm, GPT tab tom pib ua kom muaj kev txawj ntse.
Thaum peb nkag siab tias GPT txhais tau tias Generative (kev tsim), Pre-trained (kev paub ntau yam), thiab Transformer (kev nkag siab txog tej yam hauv lub neej), peb thiaj li nkag siab zoo dua tias vim li cas cov thev naus laus zis no thiaj li yog ib qho tseem ceeb. Peb tsuas yog pib tshawb nrhiav seb cov qauv no yuav ua rau kev tshawb fawb, kev kawm, thiab kev tsim kos duab zoo li cas xwb.
