GPT аббревиатурасы небәрі бірнеше жыл ішінде ірі технологиялық бұзылыстың символына айналды. Осы үш әріптің артында парадигманың ауысуы жатыр: біз командалармен басқарылатын есептеу құралдарынан біз диалог жүргізетін сандық әріптестерге көштік. Бұл революцияның ауқымын шынымен түсіну үшін, оның астына үңіліп, осы интеллекттің күрделі механикасын зерттеу керек.
I. Техникалық анықтама: Қысқартудың үш тірегі
GPT генеративті алдын ала дайындалған трансформаторды білдіреді. Әрбір термин модельді жасаудағы маңызды кезеңді сипаттайды.
1. Туынды
Жасанды интеллект әлемінде дәстүрлі түрде модельдердің екі түрін ажыратады: дискриминациялық және генеративті.
- Дискриминациялық модель деректерді бақылайды және оған белгі қояды (мысалы, «Бұл мысықтың фотосуреті»).
- Генеративті модельGPT сияқты, одан әрі қарай жүреді. Өз біліміне сүйене отырып, ол бұрын болмаған мүлдем жаңа деректерді шығара алады. Егер ол миллиондаған өлеңді талдаған болса, оны жатқа айтпайды; ол өзі «түсінген» ұйқас пен өлшем ережелерін сақтай отырып, жаңасын жазады.
2. Алдын ала дайындалған
Міне, шикі күш осында жатыр. Модель экранға жеткенге дейін үлкен оқу кезеңінен өтті. Әлемдік интернеттің үлкен бөлігін қамтитын кітапхананы елестетіп көріңіз: бүкіл Уикипедия, сандық кітапханалар, талқылау форумдары (мысалы, Reddit), компьютерлік код қоймалары (GitHub) және жаңалықтар мұрағаттары.
Бірнеше ай бойы мыңдаған қуатты процессорларда модель тек нақты фактілерді ғана емес, сонымен қатар тілдің терең құрылымын білу үшін осы мәтінді «оқыды». Бұл «алдын ала дайындық» модельге алғашқы сұрағын алғанға дейін әмбебап мәдени және тілдік негізбен келуге мүмкіндік береді.
3. Трансформатор
Бұл 2017 жылғы ғылыми жетістік болды, ол Google-дың « Назар аудару – сізге қажет нәрсе » атты зерттеу мақаласынан бастау алды. Трансформерге дейін жасанды интеллект модельдері сөйлемдерді сөзбе-сөз, ретімен оқитын (қайталанатын модельдер). Алайда, Трансформер сөйлемді тұтастай және бір мезгілде қарастырады.
«Назар аудару» деп аталатын механизмнің арқасында ол әрбір сөздің маңыздылығын басқалармен салыстырғанда бағалай алады. « Жануар көшеден өте алмады , себебі ол тым шаршаған» деген сөйлемде Трансформер « ол » сөзінің жануарға қатысты екенін түсінеді. Егер сөйлем « ол тым кең болғандықтан » деген сөзбен аяқталса, ол «ол» сөзінің көшеге қатысты екенін бірден түсінеді. Күрделі контекстті түсіну қабілеті GPT жауаптарының адами сезім тудыратын нәрсе.
II. Эволюцияның қысқаша тарихы: GPT-1-ден GPT-5-ке дейін
GPT тарихы OpenAI компаниясының арқасында экспоненциалды өсу тарихымен сипатталады.
Ояну (GPT-1 және GPT-2)
2018 жылы GPT-1 негізін қалады. Ол қарапайым тапсырмаларды орындай алатын, бірақ жады аз болды. 2019 жылы GPT-2 1.5 миллиард параметрмен (модельдің ішкі байланыстары) айтарлықтай кеңейтілді. Ол когерентті мәтінді жасауда соншалықты шебер болды, сондықтан OpenAI бастапқыда оны өнеркәсіптік масштабтағы дезинформация жасау үшін пайдаланылады деп қорқып, шығарудан тартынды.
Жарылыс (GPT-3 және 3.5)
2020 жылы GPT-3 175 миллиард параметрмен психологиялық кедергіден өтті. Ол есептеуіш құбыжық болды. Ол енді тек аудармашы немесе жазушы ғана емес, ондаған бағдарламалау тілдерінде логикалық ойлау және кодтау мүмкіндігіне ие болды. GPT-3.5 нұсқасы 2022 жылдың қарашасында ChatGPT-тің көпшілікке іске қосылуының қозғалтқышы ретінде қызмет етіп, әлемдік сенсация тудырды.
Кемелдену (GPT-4 және одан кейінгі)
2023 жылы шығарылған GPT-4 көпмодальды болып табылады. Ол кескіндерді талдай алады, күрделі математикалық есептерді шеше алады және шығармашылықтың әлдеқайда жоғары деңгейлерін көрсете алады. Оның дәлдігі «галлюцинацияларды» (ЖИ сенімді түрде фактілерді ойлап табатын сәттерді) азайту үшін жетілдірілді.
Байланысты: Тегін жасанды интеллект онлайн режимінде шексіз және тегін ChatGPT-5
III. Ішкі жұмыс: Ықтималдық машинасы
Танымал пікірге қайшы, GPT-тің «ойлары» немесе пікірлері жоқ. Оның жұмыс істеуі таза статистикалық, бірақ соншалықты кең ауқымда, ол интеллектті модельдейді.
Пайдаланушы сұранысты терген кезде, модель әрбір сөзді ендірілу (немесе векторизация) деп аталатын сандар тізбегіне түрлендіреді. Бұл сандар сөздерді мыңдаған өлшемдері бар математикалық кеңістікке орналастыруға мүмкіндік береді. Бұл кеңістікте «Патша» сөзі математикалық тұрғыдан «Queen» немесе «Crown» сөзіне жақын.
Жауап беру процесі бірқатар болжамдардан тұрады:
- Модель мынаны талдайды шақыру.
- Ол қай сөздің (немесе «белгі«) жауапты бастау ықтималдығы ең жоғары.
- Бұл сөз таңдалғаннан кейін, ол келесі сөзді болжау үшін оны талдауға қайтарады.
- Ол бұл процесті аяқталу нүктесіне жеткенше қайталайды.
Нәтижені әсерлі ететін нәрсе - GPT әрқашан ең ықтимал сөзді таңдамайды (бұл оны қайталанатын және жалықтыратын етеді), бірақ стилі мен шығармашылығын өзгерту үшін «температура» параметрін (бақыланатын кездейсоқтық) пайдаланады.
IV. Маңызды қадам: Адамның дене бітімін реттеу (RLHF)
Егер сіз машинаға бүкіл интернетті оқуға берсеңіз, ол агрессивті болып кетуі немесе қауіпті кеңестер беруі мүмкін, себебі интернетте адамзаттың ең жақсы да, ең жаман да қасиеттері бар.
GPT-ті «жан-жақты» ету үшін OpenAI адами кері байланыстан алынған күшейту оқытуын (RLHF) пайдаланады. Мыңдаған адам тестерлері модельдің алғашқы нұсқаларымен өзара әрекеттесіп, жауаптарды бағалады: «Бұл жақсы жауап», «Бұл дөрекі», «Бұл жалған».
Осы үдеріс арқылы жасанды интеллект пайдалы, бейтарап және этикалық тұрғыдан байсалды көмекші позициясын қабылдауды үйренді. Бұл соңғы деңгей шикі технологияны жаппай нарық өніміне айналдырады.
V. Қиындықтар мен шектеулер
Күшіне қарамастан, GPT әлі күнге дейін көрінбейтін нүктелері бар құрал болып қала береді:
- ГаллюцинацияСтатистикалық тұрғыдан сенімді болуға тырысатындықтан, ол «дұрыс» деген сөздер бір-біріне сәйкес келетіндіктен, жоқ өмірбаянды немесе заңды дереккөзді ойлап табуы мүмкін.
- Сананың жетіспеушілігіGPT ештеңе сезбейді. Оның физикалық әлемді түсінігі жоқ. Егер ол омлетті қалай пісіру керектігін түсіндірсе, ол жылудың немесе жұмыртқаның иісінің не екенін білмейді; ол тек осы ұғымдар арасындағы тілдік байланысты біледі.
- Экологиялық шығындарБұл модельдерді оқыту және басқару (серверлерді салқындату үшін) айтарлықтай электр қуаты мен суды қажет етеді.
қорытынды
GPT тек мәтіндік редактор бағдарламалық жасақтамасынан әлдеқайда көп нәрсе. Бұл когнитивтік инфрақұрылым. Электр энергиясы физикалық еңбекті механикаландыруға мүмкіндік бергендей, GPT интеллектуалдық еңбектің белгілі бір түрлерін автоматтандыруды бастады.
GPT генеративті (жасау), алдын ала дайындалған (көптеген білім) және трансформатор (контекстік түсінік) дегенді білдіретінін түсіну арқылы біз бұл технологияның неліктен бетбұрыс нүктесі екенін жақсырақ түсіне аламыз. Біз бұл жеңіл және ақылды модельдердің ғылымға, білім беруге және көркем шығармашылыққа не әкелетінін зерттеудің басында ғанамыз.
