Akronüüm GPT on vaid mõne lühikese aastaga saanud suure tehnoloogilise murrangu sümboliks. Nende kolme tähe taga peitub paradigma muutus: oleme liikunud käskudega manipuleeritavatelt arvutitööriistadelt digitaalsete koostööpartnerite poole, kellega me dialoogi peame. Selle revolutsiooni ulatuse tõeliseks mõistmiseks tuleb vaadata kapoti alla ja uurida selle intelligentsuse keerulist mehhanismi.
I. Tehniline definitsioon: akronüümi kolm sammast
GPT tähistab generatiivset eelkoolitatud transformaatorit (Generative Pre-trened Transformer). Iga termin kirjeldab mudeli loomisel olulist etappi.
1. Generatiivne
Tehisintellekti maailmas eristatakse traditsiooniliselt kahte tüüpi mudeleid: diskriminatiivset ja generatiivset.
- Diskrimineeriv mudel vaatleb andmeid ja määrab neile sildi (nt „See on kassi foto”).
- Generatiivne mudelNagu ka GPT, läheb see veelgi kaugemale. Oma teadmiste põhjal on see võimeline tootma täiesti uusi andmeid, mida varem polnud olemas. Kui see on analüüsinud miljoneid luuletusi, ei hakka see ühtegi neist pähe kandma; see loob uue, austades riimi ja meetrumi reegleid, millest ta on „arusaanud“.
2. Eelkoolitatud
Siin peitubki toores jõud. Enne teie ekraanile jõudmist läbis mudel ulatusliku õppimisfaasi. Kujutage ette teeki, mis sisaldab tohutut osa globaalsest internetist: kogu Vikipeediat, digitaalseid teeke, arutelufoorumeid (nagu Reddit), arvutikoodide hoidlaid (GitHub) ja uudiste arhiive.
Kuude kaupa tuhandete võimsate protsessorite peal „luges“ mudel seda teksti, et õppida mitte ainult konkreetseid fakte, vaid ka keele enda süvastruktuuri. See „eelkoolitus“ võimaldab mudelil omandada universaalse kultuurilise ja keelelise tausta juba enne esimese küsimuse saamist.
3. Trafo
See oli 2017. aasta teaduslik läbimurre, mis sai alguse Google'i uurimistööst pealkirjaga „Tähelepanu on kõik, mida vajate„Enne Transformerit lugesid tehisintellekti mudelid lauseid sõna-sõnalt, järjekorras (korduvad mudelid). Transformer aga vaatleb lauset tervikuna ja samaaegselt.“
Tänu mehhanismile nimega Tähelepanu suudab see kaaluda iga sõna olulisust teiste suhtes. Lauses „Loom ei ületanud tänavat, sest oli liiga väsinud.„Transformer saab aru, et“it” viitab loomale. Kui lause lõpeb sõnaga „sest see oli liiga lai”, saab see koheselt aru, et „see” viitab tänavale. See võime haarata keerulist konteksti ongi see, mis muudab GPT vastused nii inimlikuks.
Seotud: ChatGPT maas? Miks tehisintellekt tõrgetega esineb ja kuidas parimatele GPT-dele tasuta ligi pääseda
II. Evolutsiooni lühiajalugu: GPT-1-st GPT-5-ni
GPT lugu on eksponentsiaalse kasvu lugu, mida juhib ettevõte OpenAI.
Ärkamine (GPT-1 ja GPT-2)
2018. aastal pani GPT-1 aluse. See suutis küll täita lihtsaid ülesandeid, kuid selle mälu oli lühike. 2019. aastal suurenes GPT-2 märkimisväärselt 1.5 miljardi parameetrini (mudeli sisemised ühendused). See muutus sidusa teksti genereerimisel nii osavaks, et OpenAI kõhkles alguses selle avaldamisega, kartes, et seda kasutatakse tööstusliku ulatusega desinformatsiooni loomiseks.
Plahvatus (GPT-3 ja 3.5)
2020. aastal ületas GPT-3 psühholoogilise barjääri 175 miljardi parameetriga. See oli arvutuslik koletis. See polnud enam lihtsalt tõlkija või kirjutaja; see sai võimeliseks loogiliseks arutlemiseks ja kodeerimiseks kümnetes programmeerimiskeeltes. GPT-3.5 versioon oli mootoriks ChatGPT avalikuks turuletoomiseks 2022. aasta novembris, mis tekitas ülemaailmse sensatsiooni.
Küpsus (GPT-4 ja edasi)
2023. aastal välja antud GPT-4 on multimodaalne. See suudab analüüsida pilte, lahendada keerulisi matemaatilisi probleeme ja näidata üles palju kõrgemat loovustaset. Selle täpsust on täiustatud, et vähendada "hallutsinatsioone" (hetki, mil tehisintellekt enesekindlalt fakte välja mõtleb).
Seotud: Piiramatu ja tasuta vestlusGPT-5 tasuta tehisintellektis veebis
III. Sisemine toimimine: tõenäosusmasin
Vastupidiselt levinud arvamusele ei ole GPT-l "mõtteid" ega arvamusi. Selle toimimine on puhtalt statistiline, kuid nii ulatuslik, et see simuleerib intelligentsust.
Kui kasutaja sisestab päringu, teisendab mudel iga sõna numbrijadaks, mida nimetatakse manustamiseks (või vektoriseerimiseks). Need numbrid võimaldavad sõnu paigutada tuhandete dimensioonidega matemaatilisse ruumi. Selles ruumis on sõna „kuningas“ matemaatiliselt lähedane sõnadele „kuninganna“ või „kroon“.
Reageerimisprotsess on ennustuste jada:
- Mudel analüüsib kiire.
- See arvutab välja, milline sõna (või „sümboolne“) on vastuse alustamise tõenäosus suurim.
- Kui see sõna on valitud, suunab see selle tagasi oma analüüsi, et ennustada järgmist sõna.
- See kordub protsessi seni, kuni jõuab lõpp-punktini.
Tulemuse muljetavaldavaks teeb see, et GPT ei vali alati kõige tõenäolisemat sõna (mis muudaks selle korduvaks ja igavaks), vaid kasutab stiili ja loovuse varieerimiseks „temperatuuri” seadistust (kontrollitud juhuslikkust).
IV. Oluline samm: inimese joondamine (RLHF)
Kui annad masinale lihtsalt kogu interneti lugeda, on oht, et see muutub agressiivseks või annab ohtlikke nõuandeid, kuna internet sisaldab nii inimkonna parimaid kui ka halvimaid külgi.
GPT „isikupärasemaks“ muutmiseks kasutab OpenAI inimtagasiside abil tugevdusõpet (RLHF). Tuhanded inimtestijad suhtlesid mudeli varajaste versioonidega ja hindasid vastuseid: „See on hea vastus“, „See on ebaviisakas“, „See on vale“.
Selle protsessi käigus õppis tehisintellekt võtma abivalmi, neutraalse ja eetiliselt pühendunud assistendi hoiaku. See viimane kiht muudab toortehnoloogia massturu tooteks.
V. Väljakutsed ja piirangud
Vaatamata oma võimsusele on GPT endiselt tööriist, millel on pimedad kohad:
- HallutsinatsioonidKuna see püüab olla statistiliselt usaldusväärne, võib see välja mõelda eluloo või õigusallika, mida pole olemas, lihtsalt sellepärast, et sõnad "kõlavad" koos õigesti.
- Teadvuse puudumineGPT ei tunne midagi. Tal puudub arusaam füüsikalisest maailmast. Kui see selgitab, kuidas omletti valmistada, siis see ei tea, mis on kuumus või muna lõhn; see teab ainult nende mõistete keelelist seost.
- KeskkonnakuluNende mudelite treenimine ja käitamine nõuab märkimisväärsel hulgal elektrit ja vett (serverite jahutamiseks).
Järeldus
GPT on palju enamat kui lihtsalt tekstitöötlustarkvara. See on kognitiivne infrastruktuur. Nii nagu elekter võimaldas füüsilise töö mehhaniseerimist, hakkab GPT automatiseerima teatud intellektuaalse töö vorme.
Mõistes, et GPT tähistab generatiivset (looming), eelkoolitatud (massilised teadmised) ja transformeerivat (kontekstuaalne mõistmine), saame paremini aru, miks see tehnoloogia tähistab pöördepunkti. Oleme alles uurimise alguses, mida need üha kergemad ja intelligentsemad mudelid teadusele, haridusele ja kunstiloomingule kaasa toovad.
