מה מייצג GPT? היסטוריה, הגדרה והסבר

ראשי התיבות GPT הפכו, תוך שנים ספורות בלבד, לסמל של שיבוש טכנולוגי משמעותי. מאחורי שלוש האותיות הללו מסתתר שינוי פרדיגמה: עברנו מכלי מחשוב המופעלים על ידי פקודות למשתפי פעולה דיגיטליים שאיתם אנו מדברים. כדי להבין באמת את גודל המהפכה הזו, יש להסתכל מתחת למכסה המנוע ולבחון את המכניקה המורכבת של אינטליגנציה זו.

א. הגדרה טכנית: שלושת עמודי התווך של ראשי התיבות

GPT הוא ראשי תיבות של Generative Pre-trained Transformer (שנאי גנרטיבי מראש). כל מונח מתאר שלב מכריע ביצירת המודל.

1. גנרטיבי

בעולם הבינה המלאכותית, מבחינים באופן מסורתי בין שני סוגים של מודלים: מפלים וגנרטיביים.

מודל מפלה צופה בנתונים ומקצה להם תווית (למשל, "זוהי תמונה של חתול").
מודל גנרטיבי, כמו GPT, הולך רחוק יותר. בהתבסס על הידע שלו, הוא מסוגל לייצר נתונים חדשים לחלוטין שלא היו קיימים קודם לכן. אם הוא ניתח מיליוני שירים, הוא לא ידקלם אחד בעל פה; הוא ילחין שירה חדשה, תוך כיבוד כללי החריזה והמשקל שהוא "הבין".

2. מאומן מראש

כאן טמון הכוח הגולמי. לפני שהגיע למסך שלכם, המודל עבר שלב למידה עצום. דמיינו ספרייה המכילה חלק עצום מהאינטרנט העולמי: ויקיפדיה כולה, ספריות דיגיטליות, פורומי דיון (כמו Reddit), מאגרי קוד מחשב (GitHub) וארכיוני חדשות.

במשך חודשים, על אלפי מעבדים רבי עוצמה, המודל "קרא" את הטקסט הזה כדי ללמוד לא רק עובדות ספציפיות, אלא גם את המבנה העמוק של השפה עצמה. "אימון מקדים" זה מאפשר למודל להגיע עם רקע תרבותי ולשוני אוניברסלי עוד לפני שהוא מקבל את השאלה הראשונה שלו.

3. שנאי

זו הייתה פריצת הדרך המדעית של 2017, שמקורה במאמר מחקר של גוגל שכותרתו "תשומת הלב היא כל מה שאתה צריךלפני ה-Transformer, מודלים של בינה מלאכותית קוראים משפטים מילה אחר מילה, לפי הסדר (מודלים חוזרים). לעומת זאת, ה-Transformer בוחן משפט כשלם ובו זמנית.

הודות למנגנון שנקרא "תשומת לב", הוא יכול לשקול את החשיבות של כל מילה ביחס לאחרות. במשפט "החיה לא חצתה את הכביש כי הייתה עייפה מדי", הרובוטריק מבין ש"it" מתייחס לחיה. אם המשפט מסתיים ב-"כי זה היה רחב מדי", הוא מבין מיד ש"זה" מתייחס לרחוב. היכולת הזו לתפוס הקשר מורכב היא מה שגורמת לתגובות של GPT להרגיש כל כך אנושיות.

מידע נוסף: צ'אטGPT לא עובד? למה תקלות בבינה מלאכותית וכיצד לגשת ל-GPT הטובים ביותר בחינם

II. היסטוריה קצרה של האבולוציה: מ-GPT-1 ל-GPT-5

סיפורה של GPT הוא סיפור של צמיחה אקספוננציאלית, המונעת על ידי החברה OpenAI.

ההתעוררות (GPT-1 ו-GPT-2)

בשנת 2018, GPT-1 הניח את היסודות. הוא יכל לבצע משימות פשוטות, אך הזיכרון שלו היה קצר. בשנת 2019, GPT-2 התרחב משמעותית עם 1.5 מיליארד פרמטרים (הקשרים הפנימיים של המודל). הוא הפך למיומן כל כך ביצירת טקסט קוהרנטי עד ש-OpenAI היססה בתחילה לשחרר אותו, מחשש שישמש ליצירת דיסאינפורמציה בקנה מידה תעשייתי.

הפיצוץ (GPT-3 ו-3.5)

בשנת 2020, GPT-3 חצה מחסום פסיכולוגי עם 175 מיליארד פרמטרים. הוא היה חיה חישובית. הוא כבר לא היה רק מתרגם או כותב; הוא הפך להיות מסוגל לבצע חשיבה לוגית ולקודד בעשרות שפות תכנות. גרסת GPT-3.5 שימשה כמנוע להשקה הציבורית של ChatGPT בנובמבר 2022, וגרמה לסנסציה עולמית.

בגרות (GPT-4 ומעלה)

GPT-4, שיצא לאור בשנת 2023, הוא רב-מודאלי. הוא יכול לנתח תמונות, לפתור בעיות מתמטיות מורכבות ולהציג רמות גבוהות בהרבה של יצירתיות. הדיוק שלו שוכלל כדי להפחית "הזיות" (רגעים שבהם הבינה המלאכותית ממציאה עובדות בביטחון).

ג. פעולות פנימיות: מכונת הסתברות

בניגוד לאמונה הרווחת, ל-GPT אין "מחשבות" או דעות. תפקודו הוא סטטיסטי בלבד, אך בקנה מידה כה עצום שהוא מדמה אינטליגנציה.

כאשר משתמש מקליד שאילתה, המודל הופך כל מילה לרצף של מספרים הנקראים הטמעות (או וקטוריזציה). מספרים אלה מאפשרים למקם מילים במרחב מתמטי בעל אלפי ממדים. במרחב זה, המילה "מלך" קרובה מתמטית ל"מלכה" או "כתר".

תהליך התגובה הוא סדרה של תחזיות:

המודל מנתח את הפקודה.
זה מחשב איזו מילה (או "אסימון") בעל הסבירות הגבוהה ביותר להתחיל את התגובה.
לאחר בחירת מילה זו, הוא מחזיר אותה לניתוח שלו כדי לחזות את המילה הבאה.
הוא חוזר על תהליך זה עד שהוא מגיע לנקודת סיום.

מה שהופך את התוצאה למרשימה הוא ש-GPT לא תמיד בוחר את המילה הסבירה ביותר (מה שיגרום לה לחזור על עצמה ומשעממת), אלא משתמש בהגדרת "טמפרטורה" (אקראיות מבוקרת) כדי לגוון את הסגנון והיצירתיות שלה.

IV. השלב המכריע: יישור אנושי (RLHF)

אם פשוט נותנים למכונה את כל האינטרנט לקריאה, היא מסתכנת בהפיכה לאגרסיבית או במתן עצות מסוכנות, שכן האינטרנט מכיל גם את הטוב וגם את הרע שבאנושות.

כדי להפוך את GPT ל"נגישה לאישית", OpenAI משתמשת בלמידה מחוזקת ממשובץ אנושי (RLHF). אלפי בודקים אנושיים ביצעו אינטראקציה עם גרסאות מוקדמות של המודל, ודירגו את התשובות: "זוהי תשובה טובה", "זה גס רוח", "זה שקר".
באמצעות תהליך זה, הבינה המלאכותית למדה לאמץ תנוחה של עוזר מועיל, ניטרלי ובעל מחויבות אתית. שכבה אחרונה זו הופכת את הטכנולוגיה הגולמית למוצר לשוק המוני.

ה. אתגרים ומגבלות

למרות כוחו, GPT נותר כלי עם נקודות עיוורות:

הֲזָיָהמכיוון שהוא מבקש להיות אמין סטטיסטית, הוא עשוי להמציא ביוגרפיה או מקור משפטי שאינו קיים, פשוט משום שהמילים "נשמעות" נכון יחד.
חוסר תודעהGPT לא מרגיש כלום. אין לו שום הבנה של העולם הפיזי. אם הוא מסביר איך לבשל חביתה, הוא לא יודע מהו חום או ריח של ביצה; הוא רק יודע את הקשר הלשוני בין מושגים אלה.
עלות סביבתיתאימון והפעלת מודלים אלה דורשים חשמל ומים משמעותיים (לקירור שרתים).

סיכום

GPT היא הרבה יותר מתוכנת עיבוד תמלילים בלבד. זוהי תשתית קוגניטיבית. כשם שחשמל אפשר מיכון של עבודה פיזית, GPT מתחילה להפוך צורות מסוימות של עבודה אינטלקטואלית לאוטומטיות.

על ידי הבנה ש-GPT מייצג את Generative (יצירה), Pre-trained (ידע מסיבי) ו-Transformer (הבנה הקשרית), נוכל להבין טוב יותר מדוע טכנולוגיה זו מסמנת נקודת מפנה. אנו רק בתחילת החקירה של מה יביאו המודלים הקלילים והחכמים יותר ויותר הללו למדע, לחינוך וליצירה האמנותית.

סדריק ג.

אני מומחה להנדסת תהליכים (Prompt Engineering) ואני נלהב מאופטימיזציה של תהליכי עבודה. תפקידי הוא לפרק לוגיקה מורכבת של בינה מלאכותית לשלבים פשוטים וניתנים ליישום. כאן, אני משתף את הסודות שלי שיעזרו לכם להשיג תוצאות מקצועיות באמצעות הכלים החינמיים שלנו.