Абрэвіятура GPT за некалькі кароткіх гадоў стала сімвалам буйнога тэхналагічнага прарыву. За гэтымі трыма літарамі хаваецца змена парадыгмы: мы перайшлі ад вылічальных інструментаў, якімі кіруюць каманды, да лічбавых партнёраў, з якімі мы ўзаемадзейнічаем. Каб сапраўды зразумець маштаб гэтай рэвалюцыі, трэба зазірнуць пад капот і вывучыць складаныя механізмы гэтага інтэлекту.
I. Тэхнічнае вызначэнне: тры слупы акроніма
GPT расшыфроўваецца як Generative Pre-Transformer (генератыўны папярэдне навучаны трансфарматар). Кожны тэрмін апісвае найважнейшы этап стварэння мадэлі.
1. Генератыўны
У свеце штучнага інтэлекту традыцыйна адрозніваюць два тыпы мадэляў: дыскрымінацыйныя і генератыўныя.
- Дыскрымінацыйная мадэль назірае за дадзенымі і прысвойвае ім пазнаку (напрыклад, «Гэта фота ката»).
- Генератыўная мадэльЯк і GPT, , ён ідзе далей. Абапіраючыся на свае веды, ён здольны ствараць цалкам новыя дадзеныя, якіх раней не існавала. Калі ён прааналізуе мільёны вершаў, ён не будзе чытаць адзін на памяць; ён складзе новы, паважаючы правілы рыфмы і метра, якія ён «зразумеў».
2. Папярэдне падрыхтаваны
Вось у чым заключаецца ўся ягоная моц. Перш чым патрапіць на ваш экран, мадэль прайшла маштабную фазу навучання. Уявіце сабе бібліятэку, якая змяшчае велізарную частку глабальнага інтэрнэту: усю Вікіпедыю, лічбавыя бібліятэкі, дыскусійныя форумы (напрыклад, Reddit), рэпазіторыі камп'ютэрнага кода (GitHub) і архівы навін.
На працягу месяцаў на тысячах магутных працэсараў мадэль «чытала» гэты тэкст, каб вывучыць не толькі канкрэтныя факты, але і глыбокую структуру самой мовы. Гэта «папярэдняе навучанне» дазваляе мадэлі атрымаць універсальны культурны і лінгвістычны бэкграўнд яшчэ да таго, як яна атрымае першае пытанне.
3. Трансфарматар
Гэта быў навуковы прарыў 2017 года, які ўзнік з даследчай працы Google пад назвай «Увага - усё, што вам трэба«Да з'яўлення «Трансфарматара» мадэлі штучнага інтэлекту чыталі сказы слова за словам па парадку (рэкурэнтныя мадэлі). Аднак «Трансфарматар» разглядае сказ як цэлае і адначасова.
Дзякуючы механізму пад назвай «Увага», ён можа ўзважыць важнасць кожнага слова ў параўнанні з іншымі. У сказе «Жывёла не перайшла вуліцу, бо была занадта стомленай«Трансфарматар разумее, што»it«азначае жывёлу. Калі сказ заканчваецца на «таму што яно было занадта шырокім«…», яно імгненна разумее, што «яно» адносіцца да вуліцы. Менавіта гэтая здольнасць разумець складаны кантэкст робіць адказы GPT такімі чалавечымі.
Па тэме: ChatGPT не працуе? Чаму штучны інтэлект дае збоі і як атрымаць доступ да лепшых GPT бясплатна
II. Кароткая гісторыя эвалюцыі: ад GPT-1 да GPT-5
Гісторыя GPT — гэта гісторыя экспанентнага росту, абумоўленага кампаніяй OpenAI.
Абуджэнне (GPT-1 і GPT-2)
У 2018 годзе GPT-1 заклаў падмурак. Ён мог выконваць простыя задачы, але яго памяць была кароткай. У 2019 годзе GPT-2 значна павялічыўся, дасягнуўшы 1.5 мільярда параметраў (унутраныя сувязі мадэлі). Ён стаў настолькі здольным генераваць звязны тэкст, што OpenAI спачатку вагаўся з яго выпускам, баючыся, што ён будзе выкарыстаны для стварэння дэзінфармацыі ў прамысловых маштабах.
Выбух (GPT-3 і 3.5)
У 2020 годзе GPT-3 пераадолеў псіхалагічны бар'ер, маючы 175 мільярдаў параметраў. Гэта быў вылічальны звер. Ён ужо не быў проста перакладчыкам ці пісьменнікам; ён стаў здольным на лагічнае мысленне і кадаванне на дзясятках моў праграмавання. Версія GPT-3.5 паслужыла рухавіком для публічнага запуску ChatGPT у лістападзе 2022 года, выклікаўшы сусветную сенсацыю.
Тэрмін пагашэння (GPT-4 і далей)
Выпушчаны ў 2023 годзе, GPT-4 з'яўляецца мультымадальным. Ён можа аналізаваць выявы, вырашаць складаныя матэматычныя задачы і дэманстраваць значна больш высокі ўзровень творчасці. Яго дакладнасць была палепшана, каб паменшыць «галюцынацыі» (моманты, калі штучны інтэлект упэўнена выдумляе факты).
звязаны: Неабмежаваны і бясплатны ChatGPT-5 на Free AI Online
III. Унутраныя механізмы: машына імавернасцей
Насуперак распаўсюджанаму меркаванню, GPT не мае «думак» ці меркаванняў. Яго функцыянаванне чыста статыстычнае, але ў такіх шырокіх маштабах, што ён імітуе інтэлект.
Калі карыстальнік уводзіць запыт, мадэль пераўтварае кожнае слова ў паслядоўнасць лікаў, якая называецца ўбудаваннямі (або вектарызацыяй). Гэтыя лікі дазваляюць размясціць словы ў матэматычнай прасторы з тысячамі вымярэнняў. У гэтай прасторы слова «Кароль» матэматычна блізкае да «Каралевы» або «Кароны».
Працэс рэагавання — гэта серыя прагнозаў:
- Мадэль аналізуе падказка.
- Ён вылічвае, якое слова (ці «знак«) мае найбольшую верагоднасць пачатку адказу.
- Пасля таго, як гэтае слова выбрана, яно выкарыстоўваецца для аналізу, каб прадказаць наступнае слова.
- Ён паўтарае гэты працэс, пакуль не дасягне кропкі заканчэння.
Уражвае тое, што GPT не заўсёды выбірае найбольш верагоднае слова (што зрабіла б яго паўтаральным і сумным), а выкарыстоўвае наладу «тэмпературы» (кантраляваную выпадковасць), каб змяняць свой стыль і крэатыўнасць.
IV. Найважнейшы крок: выраўноўванне чалавека (RLHF)
Калі проста даць машыне прачытаць увесь інтэрнэт, яна рызыкуе стаць агрэсіўнай або даваць небяспечныя парады, бо інтэрнэт утрымлівае як лепшае, так і горшае ад чалавецтва.
Каб зрабіць GPT «прывабным для аўдыторыі», OpenAI выкарыстоўвае навучанне з падмацаваннем з зваротнай сувязі чалавека (RLHF). Тысячы тэсціроўшчыкаў узаемадзейнічалі з раннімі версіямі мадэлі, ацэньваючы адказы: «Гэта добры адказ», «Гэта груба», «Гэта хлусня».
Дзякуючы гэтаму працэсу штучны інтэлект навучыўся прымаць позу карыснага, нейтральнага і этычна абавязанага памочніка. Гэты апошні ўзровень ператварае неапрацаваную тэхналогію ў прадукт масавага рынку.
V. Праблемы і абмежаванні
Нягледзячы на сваю магутнасць, GPT застаецца інструментам са сляпымі зонамі:
- ГалюцынацыяПаколькі яна імкнецца да статыстычнай дакладнасці, яна можа выдумаць біяграфію або юрыдычную крыніцу, якой не існуе, проста таму, што словы «гучаць» правільна разам.
- Адсутнасць свядомасціGPT нічога не адчувае. Ён не разумее фізічнага свету. Калі ён тлумачыць, як прыгатаваць амлет, ён не ведае, што такое цеплыня ці пах яйка; ён ведае толькі лінгвістычную сувязь паміж гэтымі паняццямі.
- Экалагічныя выдаткіДля навучання і запуску гэтых мадэляў патрабуецца значная колькасць электрычнасці і вады (для астуджэння сервераў).
Conclusion
GPT — гэта значна больш, чым проста праграмнае забеспячэнне для апрацоўкі тэкстаў. Гэта кагнітыўная інфраструктура. Гэтак жа, як электрычнасць дазволіла механізаваць фізічную працу, GPT пачынае аўтаматызаваць некаторыя формы інтэлектуальнай працы.
Разумеючы, што GPT расшыфроўваецца як Generative (стварэнне), Pre-naught (масіўныя веды) і Transformer (кантэкстуальнае разуменне), мы можам лепш зразумець, чаму гэтая тэхналогія азначае паваротны момант. Мы толькі ў пачатку вывучэння таго, што гэтыя ўсё больш лёгкія і інтэлектуальныя мадэлі прынясуць у навуку, адукацыю і мастацкую творчасць.
