Ua lilo ka huaʻōlelo pōkole GPT, i loko o kekahi mau makahiki pōkole wale nō, i hōʻailona o kahi hoʻololi ʻenehana nui. Ma hope o kēia mau leka ʻekolu aia kahi hoʻololi paradigm: ua neʻe mākou mai nā mea hana kamepiula i hoʻoponopono ʻia e nā kauoha i nā mea hana like kikohoʻe a mākou e kamaʻilio pū ai. No ka hoʻomaopopo maoli ʻana i ka nui o kēia kipi, pono kekahi e nānā ma lalo o ke poʻo a nānā i nā mechanics paʻakikī o kēia naʻauao.
I. Wehewehena ʻenehana: Nā Kia ʻEkolu o ka Acronym
ʻO GPT ke kū nei no Generative Pre-trained Transformer. Hōʻike kēlā me kēia huaʻōlelo i kahi pae koʻikoʻi i ka hoʻokumu ʻana o ke kumu hoʻohālike.
1. Hoʻouluulu
I ke ao o ka naʻauao hana, ua hana kuʻuna ʻia kahi ʻokoʻa ma waena o ʻelua ʻano hoʻohālike: discriminative a me generative.
- He kumu hoʻohālike hoʻokaʻawale nānā i ka ʻikepili a hāʻawi i kahi lepili iā ia (e laʻa, "He kiʻi kēia o kahi pōpoki").
- He kumu hoʻohālike hana, e like me GPT, hele hou aku. Ma muli o kona ʻike, hiki iā ia ke hana i ka ʻikepili hou loa i loaʻa ʻole ma mua. Inā ua kālailai ʻo ia i nā miliona o nā mele, ʻaʻole ia e haʻi i hoʻokahi ma ka naʻau; e haku ia i kahi mea hou, e mahalo ana i nā lula o ka rhyme a me ka mika āna i "maopopo ai."
2. Hoʻomaʻamaʻa mua ʻia
ʻO kēia kahi e waiho ai ka mana maka. Ma mua o ka hiki ʻana i kāu pale, ua hele ke kumu hoʻohālike i kahi pae aʻo nui. E noʻonoʻo i kahi hale waihona puke e loaʻa ana kahi hapa nui o ka pūnaewele honua: ʻo Wikipedia holoʻokoʻa, nā hale waihona puke kikohoʻe, nā kahua kūkākūkā (e like me Reddit), nā waihona code kamepiula (GitHub), a me nā waihona nūhou.
No nā mahina, ma luna o nā tausani o nā mea hana mana kiʻekiʻe, ua "heluhelu" ke kumu hoʻohālike i kēia kikokikona e aʻo ʻaʻole wale i nā ʻoiaʻiʻo kikoʻī, akā i ke ʻano hohonu o ka ʻōlelo ponoʻī. ʻO kēia "hoʻomaʻamaʻa mua" e hiki ai i ke kumu hoʻohālike ke hōʻea me kahi ʻike moʻomeheu a me ka ʻōlelo honua ma mua o ka loaʻa ʻana o kāna nīnau mua.
3. Hoʻololi
ʻO kēia ka holomua ʻepekema o 2017, i hoʻomaka ʻia mai kahi pepa noiʻi Google i kapa ʻia ʻo " Attention Is All You Need ." Ma mua o ka Transformer, heluhelu nā hiʻohiʻona AI i nā ʻōlelo huaʻōlelo ma ka huaʻōlelo, ma ke kaʻina (nā hiʻohiʻona recurrent). Eia naʻe, nānā ka Transformer i kahi ʻōlelo holoʻokoʻa a i ka manawa like.
Mahalo i kahi ʻano hana i kapa ʻia ʻo Attention, hiki iā ia ke kaupaona i ke koʻikoʻi o kēlā me kēia huaʻōlelo e pili ana i nā mea ʻē aʻe. Ma ka ʻōlelo " ʻAʻole i hele ka holoholona ma ke alanui no ka mea ua luhi loa ," maopopo i ka Transformer ʻo " ia " ke pili nei i ka holoholona. Inā pau ka ʻōlelo me " no ka mea ua ākea loa ," maopopo koke iā ia ʻo "ia" ke pili nei i ke alanui. ʻO kēia hiki ke hoʻomaopopo i ka pōʻaiapili paʻakikī ke kumu e manaʻo ai nā pane a GPT he kanaka.
II. He moʻolelo pōkole o ka ulu ʻana: Mai GPT-1 a i GPT-5
ʻO ka moʻolelo o GPT kekahi o ka ulu wikiwiki, i hoʻokele ʻia e ka hui ʻo OpenAI.
ʻO ke ala ʻana (GPT-1 a me GPT-2)
I ka makahiki 2018, ua hoʻokumu ʻo GPT-1 i ke kahua. Hiki iā ia ke hana i nā hana maʻalahi, akā pōkole kona hoʻomanaʻo. I ka makahiki 2019, ua piʻi nui ʻo GPT-2 me 1.5 biliona mau palena (nā pilina kūloko o ke kumu hoʻohālike). Ua lilo ia i akamai loa i ka hana ʻana i nā kikokikona kūlike a ua kānalua mua ʻo OpenAI e hoʻokuʻu iā ia, no ka makaʻu e hoʻohana ʻia e hana i ka ʻike hewa ma ka pae ʻoihana.
Ka Pahū (GPT-3 a me 3.5)
I ka makahiki 2020, ua hala ʻo GPT-3 i kahi pale noʻonoʻo me 175 biliona mau palena. He holoholona helu ia. ʻAʻole ia he unuhi a he mea kākau wale nō; ua hiki iā ia ke noʻonoʻo pono a me ke code ʻana i nā ʻōlelo papahana he nui. ʻO ka mana GPT-3.5 ka mīkini no ka hoʻolaha ākea ʻana o ChatGPT i Nowemapa 2022, e hoʻoulu ana i kahi manaʻo honua.
Ka Papahana (GPT-4 a ma ʻō aku)
Hoʻokuʻu ʻia i ka makahiki 2023, he multimodal ʻo GPT-4. Hiki iā ia ke kālailai i nā kiʻi, hoʻoponopono i nā pilikia makemakika paʻakikī, a hōʻike i nā pae kiʻekiʻe o ka noʻeau. Ua hoʻomaʻemaʻe ʻia kona pololei e hōʻemi i nā "hallucinations" (nā manawa kahi e hana hilinaʻi ai ka AI i nā ʻoiaʻiʻo).
Pili: ChatGPT-5 palena ʻole a manuahi ma ka Free AI Online
III. Nā Hana Kūloko: He Mīkini Manawa Kūpono
ʻAʻole like me ka manaʻo kaulana, ʻaʻohe "manaʻo" a manaʻo paha o GPT. He helu wale nō kāna hana, akā ma kahi pae ākea e hoʻohālike ana i ka naʻauao.
Ke paʻi ka mea hoʻohana i kahi nīnau, hoʻololi ke kumu hoʻohālike i kēlā me kēia huaʻōlelo i loko o kahi moʻo o nā helu i kapa ʻia ʻo embeddings (a i ʻole vectorization). ʻAe kēia mau helu i nā huaʻōlelo e waiho ʻia i loko o kahi ākea makemakika me nā tausani o nā ana. Ma kēia ākea, ua kokoke ka huaʻōlelo "Mōʻī" i ka makemakika me "Queen" a i ʻole "Crown."
ʻO ke kaʻina hana pane he moʻo o nā wānana:
- Hoʻopili ke kumu hoʻohālike i ka wikiwiki.
- Hoʻomaulia ia i ka huaʻōlelo (a i ʻole "hōʻailona") ka mea kiʻekiʻe loa e hoʻomaka ai ka pane.
- Ke koho ʻia kēlā huaʻōlelo, hoʻihoʻi ia i kāna loiloi e wānana i ka huaʻōlelo aʻe.
- Hana hou ia i kēia kaʻina hana a hiki i kahi kiko hoʻopau.
ʻO ka mea e hoʻohauʻoli ai i ka hopena, ʻaʻole koho mau ʻo GPT i ka huaʻōlelo i makemake nui ʻia (ʻo ia hoʻi ka mea e hana hou ʻia a luuluu), akā hoʻohana i kahi hoʻonohonoho "mahana" (randomness i kāohi ʻia) e hoʻololi i kona ʻano a me ka noʻeau.
IV. Ke kaʻina hana koʻikoʻi: Hoʻonohonoho kanaka (RLHF)
Inā ʻoe e hāʻawi wale i ka pūnaewele holoʻokoʻa i ka mīkini e heluhelu ai, hiki iā ia ke lilo i mea hoʻouka kaua a hāʻawi paha i nā ʻōlelo aʻoaʻo weliweli, no ka mea, aia i loko o ka pūnaewele nā mea maikaʻi a me nā mea ʻino loa o ke kanaka.
I mea e "personalize" ai ʻo GPT, hoʻohana ʻo OpenAI i ka Reinforcement Learning from Human Feedback (RLHF). Ua launa pū nā tausani o nā mea hoʻāʻo kanaka me nā mana mua o ke kumu hoʻohālike, e helu ana i nā pane: "He pane maikaʻi kēia," "He mea hōʻino kēia," "He wahaheʻe kēia."
Ma o kēia kaʻina hana, ua aʻo ka AI e hoʻohana i ke kūlana o kahi mea kōkua kōkua, kūlike ʻole, a pili pono i ke ʻano. Hoʻololi kēia papa hope loa i ka ʻenehana maka i huahana mākeke nui.
V. Nā pilikia a me nā palena
ʻOiai kona mana, he mea hana mau ʻo GPT me nā wahi makapō:
- HapaʻainaMa muli o kona ʻimi ʻana e hilinaʻi ʻia ma ke ʻano helu helu, hiki iā ia ke hana i kahi moʻolelo pilikino a i ʻole kahi kumu kānāwai i loaʻa ʻole, no ka mea wale nō ua kūpono nā huaʻōlelo "kani".
- Ka ʻike ʻoleʻAʻohe manaʻo o GPT. ʻAʻohe ona ʻike i ke ao kino. Inā wehewehe ia pehea e kuke ai i ka omelet, ʻaʻole ia i ʻike i ka wela a i ʻole ke ʻala o ka hua manu; ʻike wale ia i ka pilina ʻōlelo ma waena o kēlā mau manaʻo.
- Koina kaiapuniʻO ke aʻo ʻana a me ka holo ʻana i kēia mau hiʻohiʻona e pono ai ka uila a me ka wai nui (e hoʻolulu i nā kikowaena).
Panina
ʻOi aku ka GPT ma mua o ka polokalamu hana huaʻōlelo wale nō. He ʻōnaehana noʻonoʻo ia. E like me ka uila i ʻae ai no ka mīkini ʻana o ka hana kino, ke hoʻomaka nei ʻo GPT e hoʻokele pono i kekahi mau ʻano hana noʻonoʻo.
Ma ka hoʻomaopopo ʻana he kū ʻo GPT no Generative (hana ʻana), Pre-trained (ʻike nui), a me Transformer (ʻike pōʻaiapili), hiki iā mākou ke mahalo maikaʻi i ke kumu o kēia ʻenehana e hōʻailona ai i kahi huli. Aia wale nō mākou i ka hoʻomaka ʻana o ka ʻimi ʻana i nā mea a kēia mau hiʻohiʻona māmā a akamai e lawe mai ai i ka ʻepekema, ka hoʻonaʻauao, a me ka hana kiʻi.
