GPT гэсэн товчлол хэдхэн жилийн дотор технологийн томоохон эвдрэлийн бэлгэдэл болсон. Эдгээр гурван үсгийн цаана парадигмын өөрчлөлт нуугдаж байна: бид тушаалаар удирддаг тооцооллын хэрэгслээс харилцан ярилцдаг дижитал хамтрагчид болж шилжсэн. Энэхүү хувьсгалын цар хүрээг үнэхээр ойлгохын тулд хүн бүр энэхүү оюун ухааны нарийн төвөгтэй механикийг судлах ёстой.
I. Техникийн тодорхойлолт: Товчлолын гурван тулгуур багана
GPT нь Generative Pre-trained Transformer гэсэн үгийн товчлол юм. Нэр томьёо бүр нь загварыг бүтээх чухал үе шатыг тодорхойлдог.
1. Үүсгэн байгуулагч
Хиймэл оюун ухааны ертөнцөд уламжлал ёсоор ялгаварлан гадуурхах болон үүсгэгч гэсэн хоёр төрлийн загварыг ялгаж үздэг.
- Ялгаварлан гадуурхах загвар өгөгдлийг ажиглаж, түүнд шошго өгдөг (жишээ нь, “Энэ бол муурны зураг”).
- Бүтээлч загварGPT-тэй адил цааш явдаг. Мэдлэг дээрээ үндэслэн өмнө нь байгаагүй цоо шинэ өгөгдөл гаргах чадвартай. Хэрэв сая сая шүлгийг шинжилсэн бол нэгийг нь цээжээр уншихгүй; харин өөрийн "ойлгосон" шүлэг, хэмнэлийн дүрмийг хүндэтгэн шинээр зохиох болно.
2. Урьдчилан бэлтгэгдсэн
Энэ бол түүхий хүч юм. Таны дэлгэцэнд хүрэхээсээ өмнө загвар нь асар их сургалтын үе шатыг туулсан. Дэлхийн интернетийн асар том хэсгийг агуулсан номын санг төсөөлөөд үз дээ: Википедиагийн бүхэл бүтэн хэсэг, дижитал номын сангууд, хэлэлцүүлгийн форумууд (Reddit гэх мэт), компьютерийн кодын сан (GitHub), мэдээний архивууд.
Хэдэн сарын турш, мянга мянган өндөр хүчин чадалтай процессор дээр загвар нь зөвхөн тодорхой баримтуудыг төдийгүй хэлний өөрийнх нь гүн бүтцийг сурахын тулд энэ текстийг "уншсан". Энэхүү "урьдчилсан сургалт" нь загварт анхны асуултаа хүлээн авахаас өмнө соёл, хэл шинжлэлийн нийтлэг суурьтай болох боломжийг олгодог.
3. Трансформатор
Энэ бол "Google"-ийн судалгааны ажлаас эхлэлтэй 2017 оны шинжлэх ухааны нээлт байв.Анхаарал л танд хэрэгтэйТрансформероос өмнө хиймэл оюун ухааны загварууд өгүүлбэрүүдийг үг нэг нэгээр нь, дарааллаар нь уншдаг байсан (давталтын загварууд). Гэсэн хэдий ч Трансформер нь өгүүлбэрийг бүхэлд нь болон нэгэн зэрэг авч үздэг.
Анхаарал гэдэг механизмын ачаар үг бүрийн ач холбогдлыг бусадтай харьцуулан жинлэж чаддаг. "Амьтан хэт ядарсан байсан тул гудамж хөндлөн гараагүй"Трансформер үүнийг ойлгож байна"it" гэдэг нь амьтныг хэлнэ. Хэрэв өгүүлбэр " гэж төгсвөлучир нь энэ нь хэтэрхий өргөн байсан"," гэдэг нь "энэ" гэдэг нь гудамжийг хэлж байгааг шууд ойлгодог. Нарийн төвөгтэй нөхцөл байдлыг ойлгох чадвар нь GPT-ийн хариултыг маш хүнлэг болгодог зүйл юм.
II. Хувьслын товч түүх: GPT-1-ээс GPT-5 хүртэл
GPT-ийн түүх бол тус компанийн хөтөлдөг экспоненциал өсөлтийн түүх юм. Нээлттэй байна.
Сэрэлт (GPT-1 ба GPT-2)
2018 онд GPT-1 нь суурийг тавьсан. Энэ нь энгийн ажлуудыг гүйцэтгэж чаддаг байсан ч санах ой нь бага байсан. 2019 онд GPT-2 нь 1.5 тэрбум параметр (загварын дотоод холболт)-оор мэдэгдэхүйц өргөжсөн. Энэ нь уялдаа холбоотой текст үүсгэхдээ маш чадварлаг болсон тул OpenAI нь анхандаа үйлдвэрлэлийн хэмжээний хуурамч мэдээлэл үүсгэхэд ашиглагдах вий гэж болгоомжилж, үүнийг гаргахаас эргэлзэж байв.
Дэлбэрэлт (GPT-3 ба 3.5)
2020 онд GPT-3 нь 175 тэрбум параметртэй сэтгэл зүйн саадыг давсан. Энэ нь тооцооллын мангас болсон. Энэ нь зүгээр нэг орчуулагч эсвэл зохиолч байхаа больсон; энэ нь логик сэтгэлгээ, олон арван програмчлалын хэл дээр код бичих чадвартай болсон. GPT-3.5 хувилбар нь 2022 оны 11-р сард ChatGPT-ийг олон нийтэд танилцуулах хөдөлгүүр болж, дэлхий даяар шуугиан тарьсан.
Нас бие гүйцэх (GPT-4 ба түүнээс дээш)
2023 онд худалдаанд гарсан GPT-4 нь олон горимтой. Энэ нь зургийг шинжлэх, нарийн төвөгтэй математикийн бодлогуудыг бодох, бүтээлч сэтгэлгээний илүү өндөр түвшинг харуулах боломжтой. "Хиймэл оюун ухаан баримтуудыг өөртөө итгэлтэйгээр зохиодог мөчүүд"-ийг багасгахын тулд түүний нарийвчлалыг сайжруулсан.
Холбогдох: Үнэгүй хиймэл оюун ухаан онлайн дээр хязгааргүй, үнэгүй ChatGPT-5
III. Дотоод ажиллагаа: Магадлалын машин
Түгээмэл итгэл үнэмшлээс ялгаатай нь GPT нь "бодол" эсвэл үзэл бодолтой байдаггүй. Үүний үйл ажиллагаа нь зөвхөн статистик боловч оюун ухааныг дуурайлган хийдэг маш өргөн цар хүрээтэй юм.
Хэрэглэгч асуулга бичих үед загвар нь үг бүрийг оруулга (эсвэл векторжуулалт) гэж нэрлэгддэг тоонуудын дараалал болгон хувиргадаг. Эдгээр тоонууд нь үгсийг мянга мянган хэмжээстэй математикийн орон зайд байрлуулах боломжийг олгодог. Энэ орон зайд "Хаан" гэдэг үг нь математикийн хувьд "Хатан хаан" эсвэл "Титэм" гэсэн үгтэй ойролцоо байна.
Хариу үйл явц нь хэд хэдэн таамаглал юм:
- Загвар нь дараах зүйлийг шинжилдэг Түр хүлээнэ үү.
- Энэ нь аль үг (эсвэл “токен") нь хариу үйлдэл эхлүүлэх хамгийн өндөр магадлалтай.
- Тэр үгийг сонгосны дараа дараагийн үгийг урьдчилан таамаглахын тулд үүнийг дүн шинжилгээндээ буцааж оруулдаг.
- Энэ нь төгсгөлийн цэгт хүрэх хүртэл энэ үйл явцыг давтана.
Үр дүнг гайхалтай болгож байгаа зүйл бол GPT нь үргэлж хамгийн магадлалтай үгийг сонгодоггүй (энэ нь давтагдах, уйтгартай болгох болно), харин хэв маяг болон бүтээлч байдлаа өөрчлөхийн тулд "температур" тохиргоог (хяналттай санамсаргүй байдал) ашигладаг явдал юм.
IV. Чухал алхам: Хүний байрлал (RLHF)
Хэрэв та машинд интернетийг бүхэлд нь уншихыг өгвөл энэ нь түрэмгий болох эсвэл аюултай зөвлөгөө өгөх эрсдэлтэй, учир нь интернет нь хүн төрөлхтний хамгийн сайн болон хамгийн муу талуудыг агуулдаг.
GPT-г "хувийн" болгохын тулд OpenAI нь Хүний санал хүсэлтээс суралцах хүчийг нэмэгдүүлэх (RLHF) аргыг ашигладаг. Мянга мянган хүний туршигчид уг загварын эхний хувилбаруудтай харилцаж, хариултуудыг нь "Энэ бол сайн хариулт", "Энэ бол бүдүүлэг", "Энэ бол худал" гэж үнэлсэн.
Энэ үйл явцаар дамжуулан хиймэл оюун ухаан нь тустай, төвийг сахисан, ёс зүйтэй туслахын байр суурийг баримтлахыг сурсан. Энэхүү эцсийн давхарга нь түүхий технологийг олон нийтийн зах зээлийн бүтээгдэхүүн болгон хувиргадаг.
V. Сорилт ба хязгаарлалтууд
Хүчтэй хэдий ч GPT нь хараагүй цэгүүдтэй хэрэгсэл хэвээр байна:
- Хий үзэгдэлСтатистикийн хувьд найдвартай байхыг эрмэлздэг тул зүгээр л "сонсогдож байна" гэсэн үгс хоорондоо яг таарч байгаа учраас байхгүй намтар эсвэл хууль эрх зүйн эх сурвалжийг зохиож магадгүй юм.
- Ухамсар дутмагGPT юу ч мэдэрдэггүй. Тэрээр физик ертөнцийн талаар ямар ч ойлголтгүй. Хэрэв энэ нь омлет хэрхэн хийхийг тайлбарлаж байгаа бол халуун эсвэл өндөгний үнэр гэж юу болохыг мэдэхгүй; тэр зөвхөн эдгээр ойлголтуудын хоорондох хэл шинжлэлийн холбоог л мэддэг.
- Байгаль орчны зардалЭдгээр загваруудыг сургаж ажиллуулахад (серверүүдийг хөргөхөд) ихээхэн хэмжээний цахилгаан болон ус шаардагдана.
Дүгнэлт
GPT нь зүгээр л текст боловсруулагч програм хангамжаас хамаагүй илүү юм. Энэ бол танин мэдэхүйн дэд бүтэц юм. Цахилгаан нь бие махбодийн хөдөлмөрийг механикжуулах боломжийг олгодогтой адил GPT нь оюуны хөдөлмөрийн тодорхой хэлбэрийг автоматжуулж эхэлж байна.
GPT нь Бүтээлч (бүтээлч), Урьдчилан бэлтгэгдсэн (асар их мэдлэг), Трансформер (контекстийн ойлголт) гэсэн утгатай болохыг ойлгосноор бид энэ технологи яагаад эргэлтийн цэг болж байгааг илүү сайн ойлгох болно. Эдгээр улам бүр хөнгөн, ухаалаг загварууд шинжлэх ухаан, боловсрол, урлагийн бүтээлд юу авчрахыг судлах эхлэл дээр л байна.
