GPT аббревиатурасы бир нече жылдын ичинде чоң технологиялык үзгүлтүктүн символуна айланды. Бул үч тамганын артында парадигманын өзгөрүшү жатат: биз буйруктар менен башкарылган эсептөө куралдарынан биз диалог жүргүзгөн санариптик кызматташтарга өттүк. Бул революциянын масштабын чындап түшүнүү үчүн, анын астын карап, бул интеллекттин татаал механикасын изилдөө керек.
I. Техникалык аныктама: Кыскартуулардын үч тиреги
GPT "генеративдик алдын ала үйрөтүлгөн трансформатор" дегенди билдирет. Ар бир термин моделди түзүүдөгү маанилүү этапты сүрөттөйт.
1. Туунду
Жасалма интеллект дүйнөсүндө салттуу түрдө эки түрдөгү моделдердин ортосунда айырмачылыктар бар: дискриминациялык жана генеративдик.
- Дискриминациялык модель маалыматтарды байкап, ага белги коёт (мисалы, “Бул мышыктын сүрөтү”).
- Генеративдик модельGPT сыяктуу эле, андан ары барат. Ал өзүнүн билимине таянып, мурда жок болгон таптакыр жаңы маалыматтарды чыгара алат. Эгер ал миллиондогон ырларды талдап чыкса, анда бирин жатка айтып бербейт; ал өзү "түшүнгөн" рифма жана чен эрежелерин сактап, жаңысын түзөт.
2. Алдын ала даярдалган
Дал ушул жерде чийки күч жатат. Модель экраныңызга жеткенге чейин чоң үйрөнүү этабынан өткөн. Дүйнөлүк интернеттин кеңири бөлүгүн камтыган китепкананы элестетип көрүңүз: Wikipediaнын толугу менен, санариптик китепканалар, талкуу форумдары (Reddit сыяктуу), компьютердик коддордун кампалары (GitHub) жана жаңылыктар архивдери.
Бир нече ай бою миңдеген кубаттуу процессорлордо модель бул текстти жөн гана конкреттүү фактыларды эмес, тилдин өзүнүн терең түзүлүшүн үйрөнүү үчүн "окуп" келген. Бул "алдын ала окутуу" модельге биринчи суроосун ала электе эле универсалдуу маданий жана лингвистикалык билим менен келүүгө мүмкүндүк берет.
3. Трансформатор
Бул 2017-жылдагы илимий ачылыш болду, ал Google'дун "" деген аталыштагы изилдөө макаласынан келип чыккан.Көңүл буруш керек"Трансформерден мурун, жасалма интеллект моделдери сүйлөмдөрдү сөзмө-сөз, ирети менен окушчу (кайталануучу моделдер). Бирок, Трансформер сүйлөмдү бир бүтүн катары жана бир эле учурда карайт.
Көңүл буруу деп аталган механизмдин жардамы менен ал ар бир сөздүн маанисин башка сөз менен салыштырып баалай алат. "Жаныбар өтө чарчагандыктан көчөдөн өткөн жок"Трансформер муну түшүнөт"it" жаныбарды билдирет. Эгерде сүйлөм " менен аяктасаанткени ал өтө кең болчу", ал "ал" көчөгө тиешелүү экенин дароо түшүнөт. Татаал контекстти түшүнүү жөндөмү GPTтин жоопторун ушунчалык адамдык сезимге ээ кылат.
II. Эволюциянын кыскача тарыхы: GPT-1ден GPT-5ке чейин
GPT компаниясынын тарыхы компания тарабынан демилгеленген экспоненциалдуу өсүш жөнүндө. OpenAI.
Ойгонуу (GPT-1 жана GPT-2)
2018-жылы GPT-1 пайдубалын түптөгөн. Ал жөнөкөй тапшырмаларды аткара алган, бирок эс тутуму аз болгон. 2019-жылы GPT-2 1.5 миллиард параметр (моделдин ички байланыштары) менен бир топ масштабдашкан. Ал ырааттуу текстти түзүүдө ушунчалык чебер болуп калгандыктан, OpenAI башында аны чыгаруудан тартынган, анткени ал өнөр жайлык масштабдагы дезинформацияны түзүү үчүн колдонулат деп корккон.
Жарылуу (GPT-3 жана 3.5)
2020-жылы GPT-3 175 миллиард параметр менен психологиялык тоскоолдуктан өттү. Ал эсептөөчү жырткычка айланган. Ал мындан ары жөн гана котормочу же жазуучу эмес болчу; ал логикалык ой жүгүртүүгө жана ондогон программалоо тилдеринде код жазууга жөндөмдүү болуп калды. GPT-3.5 версиясы 2022-жылдын ноябрында ChatGPTтин коомдук ишке киргизилишинин кыймылдаткычы болуп кызмат кылып, дүйнөлүк сенсацияны жаратты.
Жетилгендик (GPT-4 жана андан кийинки)
2023-жылы чыгарылган GPT-4 көп модалдуу. Ал сүрөттөрдү талдап, татаал математикалык маселелерди чечип, чыгармачылыктын алда канча жогорку деңгээлин көрсөтө алат. Анын тактыгы "галлюцинацияларды" (жасалма интеллект фактыларды ишенимдүү түрдө ойлоп тапкан учурларды) азайтуу үчүн өркүндөтүлгөн.
Related: Free AI Online'да чексиз жана акысыз ChatGPT-5
III. Ички иштөө: Ыктымалдуулук машинасы
Кеңири тараган ишенимге карама-каршы, GPTтин "ойлору" же пикирлери жок. Анын иштеши таза статистикалык, бирок ушунчалык кеңири масштабда болгондуктан, ал интеллектти симуляциялайт.
Колдонуучу суроо-талапты тергенде, модель ар бир сөздү киргизүү (же векторизация) деп аталган сандардын ырааттуулугуна айландырат. Бул сандар сөздөрдү миңдеген өлчөмдөрү бар математикалык мейкиндикке жайгаштырууга мүмкүндүк берет. Бул мейкиндикте "Падыша" сөзү математикалык жактан "Ханыша" же "Таажыга" жакын.
Жооп берүү процесси бир катар божомолдордон турат:
- Модель төмөнкүлөрдү талдайт тез.
- Ал кайсы сөздү (же “энбелгиси") жоопту баштоо ыктымалдыгы эң жогору.
- Ал сөз тандалгандан кийин, ал кийинки сөздү алдын ала айтуу үчүн аны кайрадан талдоосуна киргизет.
- Ал бул процессти акыркы чекитке жеткенге чейин кайталайт.
Натыйжаны таасирдүү кылган нерсе, GPT ар дайым эң ыктымалдуу сөздү тандай бербейт (бул аны кайталануучу жана кызыксыз кылат), тескерисинче, стилин жана чыгармачылыгын өзгөртүү үчүн "температура" жөндөөсүн (көзөмөлдөнгөн кокустук) колдонот.
IV. Маанилүү кадам: Адамдын дене түзүлүшүн шайкеш келтирүү (RLHF)
Эгер сиз жөн гана машинага бүтүндөй интернетти окууга берсеңиз, ал агрессивдүү болуп же кооптуу кеңештерди берип коюшу мүмкүн, анткени интернетте адамзаттын эң жакшы жана эң жаман жактары камтылган.
GPTти "адамдык жактан жагымдуу" кылуу үчүн, OpenAI адамдардын пикиринен үйрөнүүнү (RLHF) колдонот. Миңдеген адам сыноочулары моделдин алгачкы версиялары менен өз ара аракеттенишип, жоопторду: "Бул жакшы жооп", "Бул орой", "Бул жалган" деп баалашты.
Бул процесстин аркасында жасалма интеллект жардамчыл, нейтралдуу жана этикалык жактан бекемделген жардамчынын позициясын кабыл алууну үйрөндү. Бул акыркы катмар чийки технологияны массалык рыноктук продуктуга айландырат.
V. Кыйынчылыктар жана чектөөлөр
Күчүнө карабастан, GPT сокур тактары бар курал бойдон калууда:
- көзгө көрүнүүСтатистикалык жактан ишенимдүү болууга умтулгандыктан, жөн гана "туура" деген сөздөр бири-бирине дал келгендиктен, ал жок өмүр баянды же юридикалык булакты ойлоп табышы мүмкүн.
- Аң-сезимдин жоктугуGPT эч нерсе сезбейт. Ал физикалык дүйнөнү түшүнбөйт. Эгер ал омлетти кантип бышыруу керектигин түшүндүрсө, анда ал жылуулук же жумуртканын жыты эмне экенин билбейт; ал бул түшүнүктөрдүн ортосундагы тилдик байланышты гана билет.
- Экологиялык чыгымБул моделдерди окутуу жана иштетүү (серверлерди муздатуу үчүн) бир топ электр энергиясын жана сууну талап кылат.
жыйынтыктоо
GPT жөн гана тексттик редактордон алда канча көптү билдирет. Бул когнитивдик инфраструктура. Электр энергиясы физикалык эмгекти механизациялоого мүмкүндүк бергендей эле, GPT интеллектуалдык эмгектин айрым түрлөрүн автоматташтыра баштады.
GPT "генеративдик" (жаратуучу), "алдын ала үйрөтүлгөн" (массалык билим) жана "трансформатор" (контексттик түшүнүү) дегенди билдирерин түшүнүү менен, бул технология эмне үчүн бурулуш учурун белгилеп жатканын жакшыраак түшүнө алабыз. Биз бул жеңил жана акылдуу моделдер илимге, билим берүүгө жана көркөм чыгармачылыкка эмне алып келерин изилдөөнүн башында ганабыз.
