דער אַקראָנים GPT איז געוואָרן, אין בלויז אַ פּאָר קורצע יאָרן, דאָס סימבאָל פֿון אַ גרויסער טעכנאָלאָגישער צעשטערונג. הינטער די דריי אותיות ליגט אַ פּאַראַדיגם-וועקסל: מיר האָבן זיך באַוועגט פֿון קאָמפּיוטער-געצייג מאַניפּולירט דורך באַפֿעלן צו דיגיטאַלע מיטאַרבעטער מיט וועמען מיר רעדן. כּדי באמת צו פֿאַרשטיין די גרייס פֿון דער רעוואָלוציע, מוז מען קוקן אונטערן קאַפּאָט און אויספֿאָרשן די קאָמפּליצירטע מעכאַניק פֿון דער אינטעליגענץ.
I. טעכנישע דעפיניציע: די דריי זיילן פון דעם אַקראָנים
GPT שטייט פאר דזשענעראַטיוו פאַר-טריינד טראַנספאָרמער. יעדער טערמין באַשרייבט אַ קריטישן שטאַפּל אין דער מאָדעל'ס שאַפונג.
1. גענעראַטיוו
אין דער וועלט פון קינסטלעכער אינטעליגענץ, מאכט מען טראדיציאנעל אן אונטערשייד צווישן צוויי טיפן מאָדעלן: דיסקרימינאַטיווע און גענעראַטיווע.
- אַ דיסקרימינאַטיוו מאָדעל באַאָבאַכט דאַטן און גיט אים אַ לייבל (למשל, "דאָס איז אַ פאָטאָ פֿון אַ קאַץ").
- אַ גענעראַטיוו מאָדעל, ווי GPT, גייט ווייטער. באזירט אויף זיין וויסן, איז עס פעאיק צו פראדוצירן גאר נייע דאטן וואס האבן פריער נישט עקזיסטירט. אויב עס האט אנאליזירט מיליאנען לידער, וועט עס נישט אויסזאגן איינס פון אויסנווייניק; עס וועט קאמפאזירן א נייע, רעספעקטירנדיג די כּללים פון ריימען און מעטער וואס עס האט "פארשטאנען".
2. פאַר-טריינירט
דאָ ליגט די רויע קראַפט. איידער עס האָט דערגרייכט אייער עקראַן, האָט דער מאָדעל דורכגעמאַכט אַ מאַסיווע לערן-פאַזע. שטעלט זיך פֿאָר אַ ביבליאָטעק וואָס כּולל אַ ריזיקן טייל פֿון דער גלאָבאַלער אינטערנעץ: די גאַנצע וויקיפּעדיע, דיגיטאַלע ביבליאָטעקן, דיסקוסיע-פֿאָרומס (ווי Reddit), קאָמפּיוטער-קאָד-רעפּאָזיטאָריעס (GitHub), און נייעס-אַרכיוון.
פאר חדשים, אויף טויזנטער הויך-מאכטיקע פראסעסארן, האט דער מאָדעל "געלייענט" דעם טעקסט צו לערנען נישט נאר ספעציפישע פאקטן, נאר די טיפע סטרוקטור פון שפראך אליין. די "פאר-טריינינג" ערלויבט דעם מאָדעל צו אנקומען מיט אן אוניווערסאלן קולטורעלן און לינגוויסטישן הינטערגרונט נאך איידער ער באקומט אפילו זיין ערשטע פראגע.
3. טראַנספאָרמער
דאָס איז געווען דער וויסנשאַפטלעכער דורכברוך פון 2017, וואָס שטאַמט פון אַ גוגל פאָרשונג אַרבעט מיטן טיטל " אויפמערקזאַמקייט איז אַלץ וואָס איר דאַרפט ." איידער דעם טראַנספאָרמער, האָבן קינסטלעכע אינטעליגענץ מאָדעלן געלייענט זאַצן וואָרט ביי וואָרט, אין סדר (ריקערענט מאָדעלן). דער טראַנספאָרמער, אָבער, קוקט אויף אַ זאַץ ווי אַ גאַנצע און סיימאַלטייניאַסלי.
דאנק א מעכאניזם גערופן אויפמערקזאמקייט, קען עס אפוועגן די וויכטיקייט פון יעדן ווארט אין באציאונג צו אנדערע. אין דעם זאץ " דאס חיה האט נישט אריבערגעגאנגען די גאס ווייל עס איז געווען צו מיד ," פארשטייט דער טראנספארמער אז " עס " באציט זיך צום חיה. אויב דער זאץ ענדיגט זיך מיט " ווייל עס איז געווען צו ברייט ," פארשטייט עס גלייך אז "עס" באציט זיך צו דער גאס. די מעגלעכקייט צו כאפן קאמפלעקסן קאנטעקסט איז וואס מאכט GPT'ס רעאקציעס פילן אזוי מענטשלעך.
פֿאַרבונדן: טשאַטGPT אַראָפּ? פארוואס קינסטלעכע אינטעליגענץ גליטשעס און ווי צו צוטריט די בעסטע GPTs פֿאַר פריי
II. א קורצע געשיכטע פון עוואלוציע: פון GPT-1 ביז GPT-5
די געשיכטע פון GPT איז איינע פון עקספּאָנענציעלן וואוקס, געטריבן דורך דער פירמע OpenAI.
די אויפוועקונג (GPT-1 און GPT-2)
אין 2018, האט GPT-1 געלייגט דעם יסוד. עס האט געקענט דורכפירן איינפאכע אויפגאבן, אבער זיין זכרון איז געווען קורץ. אין 2019, האט GPT-2 זיך באדייטנד פארגרעסערט מיט 1.5 ביליאן פאראמעטערס (די מאדעל'ס אינערליכע פארבינדונגען). עס איז געווארן אזוי גוט אין שאפן קאכערענט טעקסט אז OpenAI האט אנפאנגס געצווייפלט עס ארויסצוגעבן, מורא האבנדיק אז עס וועט ווערן גענוצט צו שאפן אינדוסטריעל-מאסשטאב דיסאינפארמאציע.
די עקספּלאָזיע (GPT-3 און 3.5)
אין 2020, האט GPT-3 אריבערגעשניטן א פסיכאלאגישע גרענעץ מיט 175 ביליאן פאראמעטערס. עס איז געווען א קאמפיוטאציאנעלע חיה. עס איז שוין נישט געווען נאר אן איבערזעצער אדער א שרייבער; עס איז געווארן פעאיק צו לאגישן ריזאנירן און קאדירן אין צענדליקער פראגראמירן שפראכן. די GPT-3.5 ווערסיע האט געדינט אלס דער מאטאר פארן עפנטלעכן לאנטש פון ChatGPT אין נאוועמבער 2022, וואס האט געפירט צו א גלאבאלע סענסאציע.
מאַטוריטי (GPT-4 און ווייטער)
ארויסגעגעבן אין 2023, איז GPT-4 מולטימאָדאַל. עס קען אנאליזירן בילדער, סאָלווען קאָמפּליצירטע מאַטעמאַטישע פּראָבלעמען, און ווייַזן פיל העכערע לעוועלס פון שעפֿערישקייט. איר אַקיעראַסי איז געוואָרן ראַפינירט צו רעדוצירן "האַלוצינאַציעס" (מאָמענטן ווען די קינסטלעכע אינטעליגענץ זיכער דערפינדט פאַקטן).
פֿאַרבונדן: אַנלימאַטאַד און פריי טשאַטGPT-5 אויף פריי AI אָנליין
III. אינערלעכע ארבעטן: א ווארשיינליכקייט מאשין
פארקערט ווי מען גלויבט, האט GPT נישט קיין "געדאנקען" אדער מיינונגען. איר פונקציאנירונג איז ריין סטאטיסטיש, אבער אויף אזא גרויסן פארנעם אז עס סימולירט אינטעליגענץ.
ווען אַ באַניצער טייפּט אַ פֿראַגע, טראַנספֿאָרמירט דאָס מאָדעל יעדעס וואָרט אין אַ סיקוואַנס פֿון נומערן גערופֿן עמבעדינגס (אָדער וועקטאָריזאַציע). די נומערן דערמעגלעכן ווערטער צו ווערן געשטעלט אין אַ מאַטעמאַטישן אָרט מיט טויזנטער דימענסיעס. אין דעם אָרט איז דאָס וואָרט "מלך" מאַטעמאַטיש נאָענט צו "מלכה" אָדער "קרוין".
דער ענטפער פּראָצעס איז אַ סעריע פון פאָרויסזאָגן:
- דאָס מאָדעל אַנאַליזירט די prompt.
- עס רעכנט אויס וועלכע וואָרט (אָדער "סימען") האט די העכסטע ווארשיינליכקייט פון אנפאנגען די רעאקציע.
- אַמאָל יענע וואָרט איז אויסגעקליבן, פֿיטערט עס עס צוריק אין זײַן אַנאַליז צו פֿאָרויסזאָגן דאָס ווײַטערדיקע וואָרט.
- עס איבערחזרט דעם פּראָצעס ביז עס דערגרייכט אַ ענדיקונגספונקט.
וואָס מאַכט דעם רעזולטאַט אימפּרעסיוו איז אַז GPT קלייבט נישט שטענדיק דאָס מערסט מסתּמא וואָרט (וואָס וואָלט עס געמאַכט ריפּעטיטיוו און נודנע), נאָר ניצט אַ "טעמפּעראַטור" סעטינג (קאָנטראָלירטע ראַנדאָםקייט) צו ווערייִרן זיין סטיל און שעפֿערישקייט.
IV. דער קריטישער שריט: מענטשלעכע אויסריכטונג (RLHF)
אויב איר גיט פשוט אַ מאַשין דאָס גאַנצע אינטערנעץ צו לייענען, ריזיקירט זי צו ווערן אַגרעסיוו אָדער געבן געפערלעכע עצה, ווײַל דאָס אינטערנעץ כּולל סײַ דאָס בעסטע און סײַ דאָס ערגסטע פֿון מענטשהייט.
כּדי צו מאַכן GPT "פּערזענלעך," ניצט OpenAI פֿאַרשטאַרקונג לערנען פֿון מענטשלעכן פֿידבעק (RLHF). טויזנטער מענטשלעכע טעסטערס האָבן אינטעראַקטירט מיט פֿריִע ווערסיעס פֿון דעם מאָדעל, און געגעבן די ענטפֿערס אַ ראַנג: "דאָס איז אַ גוטע ענטפֿער," "דאָס איז גראָב," "דאָס איז פֿאַלש."
דורך דעם פּראָצעס, האָט די קינסטלעכע אינטעליגענץ געלערנט צו אננעמען די שטעלונג פון אַ נוצלעכן, נייטראַלן און עטיש געבונדענעם אַסיסטאַנט. די לעצטע שיכט טראַנספאָרמירט רויע טעכנאָלאָגיע אין אַ מאַסן-מאַרק פּראָדוקט.
V. שוועריקייטן און באגרענעצונגען
טראָץ זײַן מאַכט, בלייבט GPT אַ געצייַג מיט בלינדע פֿלעקן:
- כאַלוסאַניישאַןווײַל עס זוכט צו זײַן סטאַטיסטיש גלויבווערדיק, קען עס אויסטראַכטן אַ ביאָגראַפֿיע אָדער אַ לעגאַלע מקור וואָס עקזיסטירט נישט, פשוט ווײַל די ווערטער "קלינגען" ריכטיק צוזאַמען.
- מאַנגל פון באוווסטזייןGPT פילט גארנישט. עס האט נישט קיין פארשטאנד פון דער פיזישער וועלט. אויב עס דערקלערט ווי אזוי צו קאכן אן אמעלעט, ווייסט עס נישט וואס היץ אדער דער שמעק פון אן איי איז; עס ווייסט נאר די לינגוויסטישע באציאונג צווישן די קאנצעפטן.
- ינווייראַנמענאַל פּרייַזטרענירן און לויפן די מאָדעלן פארלאנגט באַדייטנדיק עלעקטריע און וואַסער (צו קילן סערווערס).
סאָף
GPT איז פיל מער ווי נאָר וואָרט-פּראַסעסינג ווייכווארג. עס איז אַ קאַגניטיווע אינפראַסטרוקטור. פּונקט ווי עלעקטריע האָט דערמעגלעכט די מעכאַניזאַציע פון גשמיותער אַרבעט, הייבט GPT אָן צו אויטאָמאַטיזירן געוויסע פאָרמען פון אינטעלעקטועלער אַרבעט.
דורך פארשטיין אז GPT שטייט פאר דזשענעראטיוו (שאַפונג), פאַר-טריינד (מאַסיוו וויסן), און טראַנספאָרמער (קאָנטעקסטואַל פארשטאנד), קענען מיר בעסער אָפּשאַצן פארוואס די טעכנאָלאָגיע מאַרקירט אַ ווענדפּונקט. מיר זענען נאָר אין אָנהייב פון אויספאָרשן וואָס די שטענדיק לייכטערע און אינטעליגענטע מאָדעלן וועלן ברענגען צו וויסנשאַפֿט, בילדונג און קינסטלערישער שאַפונג.
