Mae'r acronym GPT, mewn dim ond ychydig flynyddoedd byr, wedi dod yn symbol o aflonyddwch technolegol mawr. Y tu ôl i'r tair llythyren hyn mae newid patrwm: rydym wedi symud o offer cyfrifiadurol sy'n cael eu trin gan orchmynion i gydweithwyr digidol yr ydym yn deialog â nhw. I ddeall maint y chwyldro hwn yn wirioneddol, rhaid edrych o dan y cwfl ac archwilio mecanweithiau cymhleth y ddeallusrwydd hwn.
I. Diffiniad Technegol: Tri Philer yr Acronym
Mae GPT yn sefyll am Drawsnewidydd Cyn-hyfforddedig Cynhyrchiol. Mae pob term yn disgrifio cam hollbwysig yng nghreadigaeth y model.
1. Cynhyrchiol
Ym myd deallusrwydd artiffisial, yn draddodiadol gwahaniaethir rhwng dau fath o fodelau: gwahaniaethol a chynhyrchiol.
- Model gwahaniaethol yn arsylwi data ac yn rhoi label iddo (e.e., “Dyma lun o gath”).
- Model cynhyrchiol, fel GPT, mae'n mynd ymhellach. Yn seiliedig ar ei wybodaeth, mae'n gallu cynhyrchu data cwbl newydd nad oedd yn bodoli o'r blaen. Os yw wedi dadansoddi miliynau o gerddi, ni fydd yn adrodd un ar ei gof; bydd yn cyfansoddi un newydd, gan barchu rheolau odl a mesur y mae wedi'u "deall".
2. Wedi'i hyfforddi ymlaen llaw
Dyma lle mae'r pŵer crai yn gorwedd. Cyn cyrraedd eich sgrin, aeth y model trwy gyfnod dysgu enfawr. Dychmygwch lyfrgell sy'n cynnwys rhan helaeth o'r rhyngrwyd byd-eang: cyfanrwydd Wicipedia, llyfrgelloedd digidol, fforymau trafod (fel Reddit), ystorfeydd cod cyfrifiadurol (GitHub), ac archifau newyddion.
Am fisoedd, ar filoedd o broseswyr pwerus, mae'r model wedi "darllen" y testun hwn i ddysgu nid yn unig ffeithiau penodol, ond strwythur dwfn iaith ei hun. Mae'r "hyfforddiant rhagarweiniol" hwn yn caniatáu i'r model gyrraedd gyda chefndir diwylliannol ac ieithyddol cyffredinol cyn iddo hyd yn oed dderbyn ei gwestiwn cyntaf.
3. Trawsnewidydd
Dyma oedd y datblygiad gwyddonol yn 2017, yn deillio o bapur ymchwil Google o'r enw “ Attention Is All You Need .” Cyn y Transformer, roedd modelau AI yn darllen brawddegau gair wrth air, yn eu trefn (modelau cylchol). Fodd bynnag, mae'r Transformer yn edrych ar frawddeg yn ei chyfanrwydd ac ar yr un pryd.
Diolch i fecanwaith o'r enw Sylw, gall bwyso a mesur pwysigrwydd pob gair mewn perthynas ag eraill. Yn y frawddeg “ Ni chroesodd yr anifail y stryd oherwydd ei fod yn rhy flinedig ,” mae'r Trawsnewidydd yn deall bod “ fe ” yn cyfeirio at yr anifail. Os yw'r frawddeg yn gorffen gyda “ oherwydd ei fod yn rhy eang ,” mae'n deall ar unwaith bod “fe” yn cyfeirio at y stryd. Y gallu hwn i ddeall cyd-destun cymhleth yw'r hyn sy'n gwneud i ymatebion GPT deimlo mor ddynol.
Cysylltiedig: ChatGPT i Lawr? Pam mae problemau AI a sut i gael mynediad at y GPTs gorau am ddim
II. Hanes byr o esblygiad: O GPT-1 i GPT-5
Mae stori GPT yn un o dwf esbonyddol, wedi'i yrru gan y cwmni OpenAI.
Y deffroad (GPT-1 a GPT-2)
Yn 2018, gosododd GPT-1 y sylfaen. Gallai gyflawni tasgau syml, ond roedd ei gof yn brin. Yn 2019, graddiodd GPT-2 yn sylweddol gyda 1.5 biliwn o baramedrau (cysylltiadau mewnol y model). Daeth mor hyfedr wrth gynhyrchu testun cydlynol nes i OpenAI oedi cyn ei ryddhau i ddechrau, gan ofni y byddai'n cael ei ddefnyddio i greu camwybodaeth ar raddfa ddiwydiannol.
Y Ffrwydrad (GPT-3 a 3.5)
Yn 2020, croesodd GPT-3 rwystr seicolegol gyda 175 biliwn o baramedrau. Roedd yn fwystfil cyfrifiadurol. Nid dim ond cyfieithydd nac awdur oedd bellach; daeth yn gallu rhesymu'n rhesymegol a chodio mewn dwsinau o ieithoedd rhaglennu. Gwasanaethodd y fersiwn GPT-3.5 fel yr injan ar gyfer lansiad cyhoeddus ChatGPT ym mis Tachwedd 2022, gan achosi teimlad byd-eang.
Aeddfedrwydd (GPT-4 a Thu Hwnt)
Wedi'i ryddhau yn 2023, mae GPT-4 yn amlfoddol. Gall ddadansoddi delweddau, datrys problemau mathemategol cymhleth, ac arddangos lefelau llawer uwch o greadigrwydd. Mireiniwyd ei gywirdeb i leihau "rhithwelediadau" (eiliadau lle mae'r AI yn dyfeisio ffeithiau yn hyderus).
Cysylltiedig: SgwrsGPT-5 diderfyn ac am ddim ar Free AI Online
III. Gweithrediadau Mewnol: Peiriant Tebygolrwydd
Yn groes i'r gred boblogaidd, nid oes gan y GPT "feddyliau" na barn. Mae ei weithrediad yn ystadegol yn unig, ond ar raddfa mor fawr fel ei fod yn efelychu deallusrwydd.
Pan fydd defnyddiwr yn teipio ymholiad, mae'r model yn trawsnewid pob gair yn ddilyniant o rifau o'r enw mewnosodiadau (neu fectoreiddio). Mae'r rhifau hyn yn caniatáu i eiriau gael eu gosod mewn gofod mathemategol gyda miloedd o ddimensiynau. Yn y gofod hwn, mae'r gair "Brenin" yn fathemategol agos at "Frenhines" neu "Coron".
Mae'r broses ymateb yn gyfres o ragfynegiadau:
- Mae'r model yn dadansoddi'r yn brydlon.
- Mae'n cyfrifo pa air (neu “tocyn“) sydd â’r tebygolrwydd uchaf o gychwyn yr ymateb.
- Unwaith y bydd y gair hwnnw wedi'i ddewis, mae'n ei fwydo'n ôl i'w ddadansoddiad i ragweld y gair nesaf.
- Mae'n ailadrodd y broses hon nes iddo gyrraedd pwynt terfynu.
Yr hyn sy'n gwneud y canlyniad yn drawiadol yw nad yw GPT bob amser yn dewis y gair mwyaf tebygol (a fyddai'n ei wneud yn ailadroddus ac yn ddiflas), ond yn defnyddio gosodiad "tymheredd" (hap rheoledig) i amrywio ei arddull a'i greadigrwydd.
IV. Y cam hollbwysig: Aliniad dynol (RLHF)
Os ydych chi'n rhoi'r rhyngrwyd cyfan i beiriant ei ddarllen, mae mewn perygl o ddod yn ymosodol neu roi cyngor peryglus, gan fod y rhyngrwyd yn cynnwys y gorau a'r gwaethaf o ddynoliaeth.
I wneud GPT yn “bersonol,” mae OpenAI yn defnyddio Dysgu Atgyfnerthu o Adborth Dynol (RLHF). Rhyngweithiodd miloedd o brofwyr dynol â fersiynau cynnar o’r model, gan raddio’r ymatebion: “Mae hwn yn ateb da,” “Mae hyn yn anghwrtais,” “Mae hyn yn anghywir.”
Drwy’r broses hon, dysgodd y deallusrwydd artiffisial i fabwysiadu ystum cynorthwyydd cymwynasgar, niwtral, a moesegol. Mae’r haen olaf hon yn trawsnewid technoleg grai yn gynnyrch marchnad dorfol.
V. Heriau a chyfyngiadau
Er gwaethaf ei bŵer, mae GPT yn parhau i fod yn offeryn â mannau dall:
- RhithwelediadGan ei fod yn ceisio bod yn ystadegol gredadwy, gall ddyfeisio bywgraffiad neu ffynhonnell gyfreithiol nad yw'n bodoli, dim ond oherwydd bod y geiriau'n "swnio" yn iawn gyda'i gilydd.
- Diffyg ymwybyddiaethNid yw GPT yn teimlo dim. Nid oes ganddo ddealltwriaeth o'r byd ffisegol. Os yw'n egluro sut i goginio omled, nid yw'n gwybod beth yw gwres na arogl wy; dim ond y berthynas ieithyddol rhwng y cysyniadau hynny y mae'n ei gwybod.
- Cost amgylcheddolMae hyfforddi a rhedeg y modelau hyn yn gofyn am drydan a dŵr sylweddol (i oeri gweinyddion).
Casgliad
Mae GPT yn llawer mwy na meddalwedd prosesu geiriau yn unig. Mae'n seilwaith gwybyddol. Yn union fel y caniataodd trydan fecaneiddio llafur corfforol, mae GPT yn dechrau awtomeiddio rhai mathau o lafur deallusol.
Drwy ddeall bod GPT yn sefyll am Generative (creu), Pre-trained (gwybodaeth enfawr), a Transformer (dealltwriaeth gyd-destunol), gallwn werthfawrogi'n well pam mae'r dechnoleg hon yn nodi trobwynt. Dim ond ar ddechrau archwilio beth fydd y modelau cynyddol ysgafn a deallus hyn yn ei gyfrannu at wyddoniaeth, addysg a chreadigaeth artistig yr ydym.
