Skammstöfunin GPT hefur á örfáum árum orðið tákn fyrir mikla tæknibyltingu. Að baki þessara þriggja bókstafa liggur hugmyndabreyting: við höfum færst frá tölvutækjum sem stjórnað er með skipunum yfir í stafræna samstarfsaðila sem við eigum samskipti við. Til að skilja raunverulega umfang þessarar byltingar verður maður að líta undir húddið og skoða flókna virkni þessarar greindar.
I. Tæknileg skilgreining: Þrjár stoðir skammstöfunarinnar
GPT stendur fyrir Generative Pre-trained Transformer. Hvert hugtak lýsir mikilvægu stigi í gerð líkansins.
1. Kynslóðakennt
Í heimi gervigreindar er hefðbundið gerður greinarmunur á tveimur gerðum líkana: aðgreinandi og kynslóðarlíkönum.
- Aðgreinandi líkan skoðar gögn og gefur þeim merki (t.d. „Þetta er mynd af ketti“).
- KynslóðalíkanLíkt og GPT fer kerfið lengra. Byggt á þekkingu sinni er það fært um að framleiða alveg ný gögn sem voru ekki til áður. Ef það hefur greint milljónir ljóða mun það ekki flytja eitt utanbókar; það mun semja nýtt, með tilliti til rím- og bragðreglna sem það hefur „skilið“.
2. Forþjálfaður
Þetta er þar sem krafturinn liggur. Áður en líkanið komst á skjáinn þinn gekk það í gegnum gríðarlegt námsskeið. Ímyndaðu þér bókasafn sem inniheldur stóran hluta af alþjóðlegu internetinu: alla Wikipedia, stafræn bókasöfn, umræðuvettvangi (eins og Reddit), kóðageymslur (GitHub) og fréttasöfn.
Í marga mánuði, á þúsundum öflugra örgjörva, „las“ líkanið þennan texta til að læra ekki aðeins tilteknar staðreyndir, heldur einnig djúpa uppbyggingu tungumálsins sjálfs. Þessi „forþjálfun“ gerir líkaninu kleift að koma með alhliða menningarlegan og tungumálalegan bakgrunn áður en það fær jafnvel fyrstu spurninguna sína.
3. Spenni
Þetta var vísindalega byltingin árið 2017, sem átti rætur að rekja til rannsóknargreinar frá Google sem bar heitið „Athygli er allt sem þú þarft„Áður en Transformer kom til sögunnar lesa gervigreindarlíkön setningar orð fyrir orð, í réttri röð (endurteknar líkön). Transformer hins vegar lítur á setningu í heild sinni og samtímis.
Þökk sé aðferð sem kallast athygli getur það vegið og metið mikilvægi hvers orðs í tengslum við önnur. Í setningunni „Dýrið fór ekki yfir götuna því það var of þreytt„Spennubreytirinn skilur að“it„ vísar til dýrsins. Ef setningin endar á „því það var of breitt„,“ skilur það samstundis að „það“ vísar til götunnar. Þessi hæfni til að skilja flókið samhengi er það sem gerir svör GPT svo mannleg.
Tengt: ChatGPT niður? Af hverju bilar í gervigreind og hvernig á að fá aðgang að bestu GPT-tækjunum ókeypis
II. Stutt þróunarsaga: Frá GPT-1 til GPT-5
Sagan af GPT er um veldisvöxt, knúinn áfram af fyrirtækinu OpenAI.
Vakningin (GPT-1 og GPT-2)
Árið 2018 lagði GPT-1 grunninn. Það gat framkvæmt einföld verkefni en minni þess var stutt. Árið 2019 stækkaði GPT-2 verulega með 1.5 milljörðum breytna (innri tengingar líkansins). Það varð svo fært í að búa til samhangandi texta að OpenAI hikaði í fyrstu við að gefa það út af ótta við að það yrði notað til að búa til rangfærslur á iðnaðarskala.
Sprengingin (GPT-3 og 3.5)
Árið 2020 fór GPT-3 yfir sálfræðilega hindrun með 175 milljörðum breytna. Það var reiknivél. Það var ekki lengur bara þýðandi eða rithöfundur; það varð fær um rökrétta hugsun og kóðun í tugum forritunarmála. GPT-3.5 útgáfan þjónaði sem vél fyrir opinbera útgáfu ChatGPT í nóvember 2022 og olli heimsathygli.
Þroski (GPT-4 og lengra)
GPT-4 var gefið út árið 2023 og er fjölþátta. Það getur greint myndir, leyst flókin stærðfræðileg vandamál og sýnt fram á mun meiri sköpunargáfu. Nákvæmni þess var fínstillt til að draga úr „ofskynjunum“ (augnablikum þar sem gervigreindin býr til staðreyndir af öryggi).
Tengt: Ótakmarkað og ókeypis spjall GPT-5 á Free AI Online
III. Innri virkni: Líkindavél
Ólíkt því sem almennt er talið hefur GPT hvorki „hugsanir“ né skoðanir. Það virkar eingöngu tölfræðilega, en á svo stórum skala að það hermir eftir greind.
Þegar notandi slær inn fyrirspurn breytir líkanið hverju orði í talnaröð sem kallast innfellingar (eða vektorisering). Þessar tölur gera kleift að setja orð í stærðfræðilegt rými með þúsundum vídda. Í þessu rými er orðið „konungur“ stærðfræðilega nálægt „drottningu“ eða „kórónu“.
Viðbragðsferlið er röð spáa:
- Líkanið greinir Hvetja.
- Það reiknar út hvaða orð (eða „skapi„) hefur mesta líkur á að hefja svarið.
- Þegar orðið hefur verið valið færir það það aftur inn í greininguna sína til að spá fyrir um næsta orð.
- Það endurtekur þetta ferli þar til það nær endapunkti.
Það sem gerir niðurstöðuna glæsilega er að GPT velur ekki alltaf líklegasta orðið (sem myndi gera það endurtekið og leiðinlegt), heldur notar „hitastillingu“ (stýrð handahófskennd) til að breyta stíl sínum og sköpunargáfu.
IV. Lykilatriðið: Mannleg aðlögun (RLHF)
Ef þú gefur einfaldlega vél allt internetið til að lesa er hætta á að hún verði árásargjörn eða veiti hættuleg ráð, þar sem internetið inniheldur bæði það besta og versta í mannkyninu.
Til að gera GPT „persónulegt“ notar OpenAI styrkingarnám frá mannlegri endurgjöf (RLHF). Þúsundir prófunaraðila höfðu samskipti við fyrri útgáfur af líkaninu og gáfu svörunum einkunn: „Þetta er gott svar“, „Þetta er dónalegt“, „Þetta er rangt“.
Í gegnum þetta ferli lærði gervigreindin að tileinka sér stellingu hjálpsams, hlutlauss og siðferðilega bundins aðstoðarmanns. Þetta síðasta lag breytir hrári tækni í fjöldamarkaðsvöru.
V. Áskoranir og takmarkanir
Þrátt fyrir kraft sinn er GPT ennþá verkfæri með blindum blettum:
- OfskynjanirVegna þess að það leitast við að vera tölfræðilega trúverðugt gæti það fundið upp ævisögu eða lagalega heimild sem er ekki til, einfaldlega vegna þess að orðin „hljóma“ rétt saman.
- Skortur á meðvitundGPT finnur ekkert. Það hefur enga skilning á efnisheiminum. Ef það útskýrir hvernig á að elda eggjaköku, þá veit það ekki hvað hiti eða lykt af eggi er; það þekkir aðeins málfræðilegt samband milli þessara hugtaka.
- UmhverfiskostnaðurÞjálfun og keyrsla þessara líkana krefst mikillar rafmagns og vatns (til að kæla netþjóna).
Niðurstaða
GPT er miklu meira en bara ritvinnsluhugbúnaður. Það er hugræn innviðir. Rétt eins og rafmagn gerði kleift að vélvæða líkamlega vinnu, er GPT farið að sjálfvirknivæða ákveðnar tegundir hugverkavinnu.
Með því að skilja að GPT stendur fyrir Generative (sköpun), Pre-trained (mikilvæg þekking) og Transformer (skilningur á samhengi) getum við betur skilið hvers vegna þessi tækni markar tímamót. Við erum aðeins í upphafi þess að kanna hvað þessar sífellt léttari og gáfaðri gerðir munu færa vísindum, menntun og listsköpun.
