GPT հապավումը ընդամենը մի քանի կարճ տարվա ընթացքում դարձել է խոշոր տեխնոլոգիական հեղափոխության խորհրդանիշ։ Այս երեք տառերի հետևում թաքնված է պարադիգմայի փոփոխություն. մենք հրամաններով կառավարվող հաշվողական գործիքներից անցել ենք թվային համագործակցողների, որոնց հետ մենք երկխոսություն ենք վարում։ Այս հեղափոխության մասշտաբները իսկապես հասկանալու համար պետք է նայել ներսից և ուսումնասիրել այս ինտելեկտի բարդ մեխանիկան։
I. Տեխնիկական սահմանում. Հապավման երեք սյուները
GPT-ն նշանակում է «Գեներատիվ նախապես պատրաստված տրանսֆորմատոր»։ Յուրաքանչյուր տերմին նկարագրում է մոդելի ստեղծման կարևորագույն փուլը։
1. Գեներատիվ
Արհեստական բանականության աշխարհում ավանդաբար տարբերակվում են երկու տեսակի մոդելներ՝ տարբերակիչ և գեներատիվ։
- Դիսկրիմինատիվ մոդել դիտարկում է տվյալները և դրանց պիտակ է կցում (օրինակ՝ «Սա կատվի լուսանկար է»):
- Գեներատիվ մոդել, ինչպես GPT-ն, ավելի հեռուն է գնում։ Իր գիտելիքների հիման վրա այն ունակ է ստեղծել բոլորովին նոր տվյալներ, որոնք նախկինում գոյություն չունեին։ Եթե այն վերլուծել է միլիոնավոր բանաստեղծություններ, այն մեկը չի արտասանի անգիր, այլ կստեղծի նորը՝ հարգելով հանգի և չափի կանոնները, որոնք «հասկացել» է։
2. Նախապես պատրաստված
Ահա թե որտեղ է թաքնված հում ուժը։ Մինչև ձեր էկրանին հասնելը, մոդելը անցել է ուսուցման հսկայական փուլ։ Պատկերացրեք մի գրադարան, որը պարունակում է համաշխարհային ինտերնետի հսկայական մասը՝ Վիքիպեդիայի ամբողջությունը, թվային գրադարանները, քննարկումների ֆորումները (ինչպես Reddit-ը), համակարգչային կոդի պահոցները (GitHub) և լրատվական արխիվները։
Ամիսներ շարունակ, հազարավոր հզոր պրոցեսորների վրա, մոդելը «կարդում էր» այս տեքստը՝ ոչ միայն որոշակի փաստեր, այլև լեզվի խորը կառուցվածքը սովորելու համար։ Այս «նախնական մարզումը» թույլ է տալիս մոդելին հասնել համընդհանուր մշակութային և լեզվական նախապատմությունով՝ նախքան իր առաջին հարցը ստանալը։
3. Տրանսֆորմատոր
Սա 2017 թվականի գիտական հայտնագործությունն էր, որը սկիզբ է առել Google-ի « Ուշադրությունն ամեն ինչ է, ինչ քեզ պետք է » վերնագրով հետազոտական աշխատանքից: Մինչև «Տրանսֆորմերը», արհեստական ինտելեկտի մոդելները նախադասությունները կարդում էին բառ առ բառ՝ հերթականությամբ (կրկնվող մոդելներ): Սակայն «Տրանսֆորմերը» նախադասությունը դիտարկում է որպես ամբողջություն և միաժամանակ:
«Ուշադրություն» կոչվող մեխանիզմի շնորհիվ այն կարող է կշռադատել յուրաքանչյուր բառի կարևորությունը մյուսների համեմատ: « Կենդանին փողոցը չանցավ , որովհետև չափազանց հոգնած էր» նախադասության մեջ «Տրանսֆորմերը» հասկանում է, որ « դա »-ն վերաբերում է կենդանուն: Եթե նախադասությունն ավարտվում է « քանի որ այն չափազանց լայն էր » բառով, այն անմիջապես հասկանում է, որ «դա»-ն վերաբերում է փողոցին: Բարդ համատեքստը ընկալելու այս ունակությունն է, որը GPT-ի պատասխանները դարձնում է այդքան մարդկային:
II. Էվոլյուցիայի համառոտ պատմություն. GPT-1-ից մինչև GPT-5
GPT-ի պատմությունը էքսպոնենցիալ աճի պատմություն է, որը խթանվում է OpenAI ընկերության կողմից ։
Զարթոնք (GPT-1 և GPT-2)
2018 թվականին GPT-1-ը հիմք դրեց։ Այն կարող էր կատարել պարզ առաջադրանքներ, բայց նրա հիշողությունը կարճ էր։ 2019 թվականին GPT-2-ը զգալիորեն ընդլայնվեց՝ 1.5 միլիարդ պարամետրերով (մոդելի ներքին կապերը)։ Այն այնքան հմուտ դարձավ հետևողական տեքստ ստեղծելու հարցում, որ OpenAI-ը սկզբում տատանվեց այն թողարկել՝ վախենալով, որ այն կօգտագործվի արդյունաբերական մասշտաբի ապատեղեկատվություն ստեղծելու համար։
Պայթյունը (GPT-3 և 3.5)
2020 թվականին GPT-3-ը հաղթահարեց հոգեբանական արգելք՝ ունենալով 175 միլիարդ պարամետրեր։ Այն հաշվողական հրեշ էր։ Այն այլևս պարզապես թարգմանիչ կամ գրող չէր. այն դարձավ ունակ տրամաբանական դատողությունների և կոդավորման տասնյակ ծրագրավորման լեզուներով։ GPT-3.5 տարբերակը ծառայեց որպես շարժիչ ChatGPT-ի հանրային թողարկման համար 2022 թվականի նոյեմբերին՝ առաջացնելով համաշխարհային սենսացիա։
Հասունություն (GPT-4 և ավելի)
2023 թվականին թողարկված GPT-4-ը բազմամոդալ է։ Այն կարող է վերլուծել պատկերներ, լուծել բարդ մաթեմատիկական խնդիրներ և ցուցաբերել ստեղծագործականության շատ ավելի բարձր մակարդակներ։ Դրա ճշգրտությունը կատարելագործվել է՝ «հալյուցինացիաները» (պահեր, երբ արհեստական բանականությունը վստահորեն հորինում է փաստեր) նվազեցնելու համար։
Առնչվող՝ Անսահմանափակ և անվճար ChatGPT-5 անվճար արհեստական բանականության առցանց հարթակում
III. Ներքին մեխանիզմներ. Հավանականության մեքենա
Հակառակ տարածված կարծիքի, GPT-ն չունի «մտքեր» կամ կարծիքներ: Դրա գործառույթը զուտ վիճակագրական է, բայց այնքան լայնածավալ, որ այն մոդելավորում է ինտելեկտը:
Երբ օգտատերը հարցում է մուտքագրում, մոդելը յուրաքանչյուր բառը վերածում է թվերի հաջորդականության, որը կոչվում է ներդրվածություն (կամ վեկտորացում): Այս թվերը թույլ են տալիս բառերը տեղադրել հազարավոր չափումներ ունեցող մաթեմատիկական տարածքում: Այս տարածքում «Արքա» բառը մաթեմատիկորեն մոտ է «Թագուհի» կամ «Թագ» բառերին:
Արձագանքման գործընթացը կանխատեսումների շարք է.
- Մոդելը վերլուծում է արագությամբ.
- Այն հաշվարկում է, թե որ բառը (կամ «կտրոն«)-ն ունի պատասխանը սկսելու ամենաբարձր հավանականությունը։
- Երբ այդ բառն ընտրվում է, այն այն հետ է հղում կատարում իր վերլուծությանը՝ հաջորդ բառը կանխատեսելու համար։
- Այն կրկնում է այս գործընթացը մինչև վերջակետին հասնելը։
Արդյունքը տպավորիչ է դարձնում այն, որ GPT-ն միշտ չէ, որ ընտրում է ամենահավանական բառը (ինչը կդարձներ այն կրկնվող և ձանձրալի), այլ օգտագործում է «ջերմաստիճանի» կարգավորում (վերահսկվող պատահականություն)՝ իր ոճն ու ստեղծագործականությունը փոփոխելու համար։
IV. Կարևորագույն քայլը՝ մարդկային համաձայնեցում (RLHF)
Եթե դուք պարզապես մեքենային տվեք ամբողջ ինտերնետը կարդալու համար, այն ռիսկի է դիմում դառնալ ագրեսիվ կամ վտանգավոր խորհուրդներ տալ, քանի որ ինտերնետը պարունակում է մարդկության և՛ լավագույն, և՛ վատագույն կողմերը։
GPT-ն «անձնական» դարձնելու համար OpenAI-ը օգտագործում է մարդկային հետադարձ կապի ուժեղացված ուսուցում (RLHF): Հազարավոր մարդ-փորձարկողներ փոխազդել են մոդելի վաղ տարբերակների հետ՝ գնահատելով պատասխանները. «Սա լավ պատասխան է», «Սա անքաղաքավարի է», «Սա կեղծ է»:
Այս գործընթացի միջոցով արհեստական բանականությունը սովորեց ընդունել օգտակար, չեզոք և էթիկապես պարտավորված օգնականի կեցվածք։ Այս վերջին շերտը հում տեխնոլոգիան վերածում է զանգվածային շուկայի համար նախատեսված արտադրանքի։
V. Մարտահրավերներ և սահմանափակումներ
Չնայած իր հզորությանը, GPT-ն մնում է կույր կետեր ունեցող գործիք.
- ՀալուցինացումՔանի որ այն ձգտում է վիճակագրորեն հավաստի լինել, այն կարող է հորինել գոյություն չունեցող կենսագրություն կամ իրավական աղբյուր, պարզապես այն պատճառով, որ բառերը «հնչում են» միասին։
- Գիտակցության բացակայությունGPT-ն ոչինչ չի զգում։ Այն չունի ֆիզիկական աշխարհի ըմբռնում։ Եթե այն բացատրում է, թե ինչպես պատրաստել ձվածեղ, ապա չգիտի, թե ինչ է կծվությունը կամ ձվի հոտը. այն գիտի միայն այդ հասկացությունների միջև լեզվական կապը։
- Բնապահպանական ծախսերԱյս մոդելների մարզումը և գործարկումը պահանջում է զգալի քանակությամբ էլեկտրաէներգիա և ջուր (սերվերները սառեցնելու համար):
Եզրափակում
GPT-ն շատ ավելին է, քան պարզապես տեքստային խմբագրիչ ծրագիր։ Այն ճանաչողական ենթակառուցվածք է։ Ճիշտ այնպես, ինչպես էլեկտրաէներգիան թույլ տվեց ֆիզիկական աշխատանքի մեքենայացումը, GPT-ն սկսում է ավտոմատացնել մտավոր աշխատանքի որոշակի ձևեր։
Հասկանալով, որ GPT-ն նշանակում է «Ստեղծագործող», «Նախապատրաստված» (զանգվածային գիտելիքներ) և «Տրանսֆորմեր» (համատեքստային հասկացողություն) հապավումներ, մենք կարող ենք ավելի լավ հասկանալ, թե ինչու է այս տեխնոլոգիան շրջադարձային կետ նշում։ Մենք միայն սկզբում ենք ուսումնասիրելու, թե ինչ կբերեն այս ավելի ու ավելի թեթև և խելացի մոդելները գիտությանը, կրթությանը և գեղարվեստական ստեղծագործությանը։
