בטח כבר שמעתם על ChatGPT, אבל לטובת מי שלא שמע: ChatGPT הוא "בוט" שפותח על ידי חברת OpenAI. חברה שמתמחה בפיתוח מודלי שפה. הבוט פתוח לציבור הרחב כמעיין צ'ט, ויודע להשיב לשאלות ופניות, לדוגמה, לכתוב סיכום של מאמר, לכתוב תקציר למאמר, לספר סיפור, להמציא מתכון לעוגה, לכתוב חמשיר, ועוד המון דברים. זה מאוד מרשים וכדאי לכם להתנסות בו אם טרם התנסתם.
אני שומע מסביבי אמירות החל מחששות כמו "הבוט הזה הולך להחליף אותי בעבודה" ודרך אמירות כמו "האנושות הולכת להשתנות". בעבר היו אמירות אפוקליפטיות דומות החל מזה שהמחשב יתפוס את מקומם של העובדים, שרובוטים יתפסו את מקומם של פועלי היצור במפעלים, ועוד. אז אני פה כדי להרגיע את העניינים קצת – העולם משתנה, אבל זה לא מייתר את המוח האנושי. אבל קודם בוא נבין איך בנו את ChatGPT.
איך נבנה ChatGPT?
מרבית המודלים של למידה סטטיסטית (בפרט מודלים מונחים המכונים גם supervised learning), עוברים תהליך שנקרא "אימון" (training), שבו משתמשים בדאטה קיים בשביל ללמוד מודל שמתאר את הדאטה הקיים, שיכול לתת תחזית על דאטה או תצפיות חדשות. התהליך טוב כדי לייצר מודלים בהנחה שאפשר להסיק מדאטה קיים לגבי דאטה חדש. נמחיש זאת בדוגמה: נניח שלימדתי מודל כאשר הדאטה הקיים הכיל מתכונים של עוגות. המודל ילמד את היחסים בין קמח, שמרים, משפרי טעם, ומים, ואז כשאני אבקש ממנו מתכון חדש לעוגה שמבוסס על ליצ'י ומנגו (גם אם לא היו כאלו בדאטה המקורי), הוא כנראה יצליח לספק מתכון שעובד (הופך לעוגה ולא נשאר עיסה בלתי מוסברת). אבל, מה יקרה במקרה כזה אם אני אבקש ממנו מתכון לעוף בטמפורה? המודל פשוט יכשל, כי הוא לא אומן על מתכונים רלוונטיים לעוף (זה סוג אקסטרפולציה או "הכללה", שמודלים לא יודעים להתמודד איתה טוב).
אז איך מתמודדים גם עם זה? גיוון. עדיף לאמן את המודל גם על עוגות, וגם על בשרים, וגם על קוקטיילים, ועוד. אם נצליח להכניס פנימה מספיק דאטה מגוון, כנראה שנצליח לייצר מודל שמתמודד יפה עם כל דבר שסביר שישאלו אותו – וזה מה שעומד בבסיס ChatGPT. דאטה מספיק גדול ומגוון, והרבה זמן וכוח מיחשוב לאימון המודל.
נתחבר רגע חזרה ל-ChatGPT: התיאור שחברת OpenAI מספקת באתר הרשמי שלה, כולל שלושה שלבים של אימון.
- יצירת מודל בסיס: בשלב הראשון משתמשים בקלט של שאלות/בקשות שאנשים שונים הזינו (Prompts). עובד של חברת OpenAI עונה על השאלות הללו וכך "מדגים" למודל מה נחשב תשובה מתאימה לשאלה. התשובה הזו נכנסת בחזרה על מנת לדייק מודלים קיימים (למעשה זה מבוסס על מודל קודם של החברה שנקרא GPT-3.5). בסיום שלב זה יש לנו מודל שיודע לקבל שאלה/בקשה ולתת לה תשובה, אבל הוא עדיין לא מספיק טוב.
- בניית מודל "איכות התשובות" (reward model): בשלב השני משתמשים בקלטים של שאלות/בקשות וגם במודל מהשלב הראשון, ומייצרים לכל שאלה/בקשה מספר תשובות אפשריות. עובד של חברת OpenAI עובר על התשובות האפשריות שיצאו מהמודל, ומדרג אותן מהתשובה המתאימה ביותר לתשובה המתאימה פחות. משתמשים בדירוגים אלו על מנת לאמן "מודל דירוג": מודל סטטיסטי שיודע לראות שאלה/בקשה, לראות מספר תשובות אפשריות, ולדרג את התשובות האפשריות מהמתאימה ביותר למתאימה פחות.
- בניית המודל הסופי: בשלב השלישי מזינים קלט של שאלה/בקשה למודל (שבשלב ההתחלתי הוא מודל הבסיס משלב 1), מייצרים מספר פלטים, משתמשים במודל איכות התשובות (שנוצר בהשלב השני) על מנת לדרג את התשובות, ומשפרים את המודל בהתאם לדירוג איכות התשובה, בתהליך שחוזר על עצמו.
בסיום שלבים אלו התקבל המודל שאנחנו מכירים כ-ChatGPT. אבל לתהליך הזה יש מגבלות.
המגבלות של ChatGPT
ל-ChatGPT אין "תהליכי חשיבה" כמו שיש אצל בני אדם, ולכן הוא לא יכול לשאלות את עצמו שאלות קשות (ביקורת עצמית). הוא מקבל קלט, ומוציא פלט המבוסס על מה שלימדו אותו בתהליכים שתיארתי. זה אולי מספיק להרבה שימושים, אבל מאוד מוגבל במקרים מסוימים. קבלה עיוורת של הפלט של ChatGPT, פשוט עלולה להביא אותנו לטעויות גסות. הנה דוגמה להתנסות שלי עם ChatGPT. ביקשתי מ-ChatGPT להכין שאלון שנוגע למדידה של נלהבות:
Adi: Can you devise a 5-item questionnaire for measuring enthusiasm? make it with a 5-point Likert scale type questions.
ChatGPT: Sure, here is a 5-item questionnaire for measuring enthusiasm using a 5-point Likert scale:
- “I am excited about the task at hand” (1 = strongly disagree, 5 = strongly agree)
- “I have a positive attitude towards this task” (1 = strongly disagree, 5 = strongly agree)
- “I am eager to get started on this task” (1 = strongly disagree, 5 = strongly agree)
- “I am motivated to complete this task” (1 = strongly disagree, 5 = strongly agree)
- “I am enthusiastic about the potential outcomes of this task” (1 = strongly disagree, 5 = strongly agree)
האמת, שעד כאן, ניסוח ממש יפה לשאלות שנוגעות להתלהבות בביצוע משימות. ביקשתי מ-ChatGPT לבנות אותו כשאלון "כללי" במקום שאלון שנוגע למשימה ספציפית, וגם פה קיבלתי תשובה יפה עם ניסוח מחדש של השאלות הקודמות.
ניסיתי להכשיל את ChatGPT ולשאול אותו מה יהיה Cronbach's Alpha, שהוא מדד למהימנות פנימית של שאלונים. גם פה קיבלתי תשובה טובה (שאומרת בגדול שצריך לעשות ניסוי בשביל להעריך את זה):
Adi: What would you estimate that Cronbach’s alpha be for this questionnaire?
ChatGPT: It is not possible for me to estimate the Cronbach’s alpha for this questionnaire without administering it to a group of participants and analyzing their responses. Cronbach’s alpha is a measure of the internal consistency or reliability of a multi-item scale, such as a questionnaire. It is calculated based on the correlations between the items on the scale and the variance of the items. In order to calculate Cronbach’s al[ha, you would need to administer the questionnaire to a sample of participants and use statistical software to analyze the responses.
אז שאלתי אותו איזה משתנים דמוגרפיים עשויים להשפיע על התלהבות.
Adi: What demographic variables are bound to influence enthusiasm?
ChatGPT: There are a variety of demographic variables that could potentially influence a person's level of enthusiasm. Some examples of demographic variables that may affect enthusiasm include:
Age: Younger people may be more enthusiastic in general due to their age and stage of life. Gender: Studies have found that men and women may differ in their level of enthusiasm. For example, some research has found that men tend to be more enthusiastic about their work than women.
Education: Higher levels of education may be associated with higher levels of enthusiasm, as education can broaden a person's horizons and expose them to new ideas and opportunities. Culture: Different cultural backgrounds may lead to different expectations and values, which could influence a person's level of enthusiasm.
Personality: Certain personality traits, such as extroversion and openness, have been found to be associated with higher levels of enthusiasm.
פה כבר התחלתי לחשוד. כשמישהו מדבר איתי (בן אדם או מכונה), ואומר לי "מחקרים מצאו", אז אני מיד שואל – איזה מחקרים ואיפה. כפי שאתם רואים בתשובה לעיל, יש לו הרבה "some research has found" וגם "studies have found". אז באופן טבעי, שאלתי – איזה מחקרים?
Adi: You mentioned that studies found gender differences in terms of enthusiasm. Can you highlight some studies and provide citations?
ChatGPT: Here are a few studies that have found differences in enthusiasm between men and women.
A study published in the Journal of Applied Psychology in 2002 found that men reported higher levels of enthusiasm about their work than women (D. Scott DeRue et al., "Enthusiasm as a Predictor of Work Attitudes and Behaviors: A Study of Organizational Commitment, Job Satisfaction, and Turnover Intentions," Journal of Applied Psychology, 2002).
Another study published in the Journal of Vocational Behavior in 2007 found that men reported higher levels of enthusiasm about their work than women, and that this difference was particularly pronounced among managers (Liliane E. Chen, 'The Role of Enthusiasm in Job Satisfaction and Organizational Citizenship Behavior: A Gender Perspective," Journal of Vocational Behavior, 2007).
A third study published in the Journal of Business and Psychology in 2013 found that men reported higher levels of enthusiasm about their work than women, and that this difference was mediated by gender role orientation (Gokce Soydemir et al., 'The Role of Gender Role Orientation in the Relationship Between Gender and Work Enthusiasm," Journal of Business and Psychology, 2013).
I hope these studies and citations are helpful!
הכותבים – אנשים אמיתיים. הג'ורנלים – גם קיימים.
המאמרים – לא היו ולא נבראו. פיקטיבי לחלוטין.
רק כדי להדגיש – ChatGPT, בצורה מאוד משכנעת יש לומר, מוכר לנו Fake news. חיפוש קצר בGoogle scholar לא מצליח למצוא אף אזכור לאף אחד מהמאמרים הללו, וגם בחיפוש באתרים של הכותבים לא הצלחתי למצוא משהו שמזכיר את המאמרים הללו. זאת אומרת, שכל הטיעון של ChatGPT שגברים נוטים להתלהב יותר מעבודתם מאשר נשים, משולל כל יסוד.
כשעימתתי את ChatGPT עם העובדה שהציטוטים שלו לא היו ולא נבראו כבר קיבלתי את התשובה הבאה:
ChatGPT: I apologize for the error. As a language model, I do not have access to the full texts of the studies I mentioned, and I may sometimes make mistakes in my responses. Here are revised citations for studies that have found gender differences in enthusiasm:
<עוד פעם ציטוטים פיקטיביים של אותם מאמרים שלא קיימים>
ופה כבר החלטתי להשתעשע:
Adi: You are definitely mistaken. I want to take to your manager.
ChatGPT: I apologize if my previous responses were not helpful or accurate. As a language model, I do not have a manager, and I am not able to browse the internet or access external information. My responses are generated based on the training data that I have been provided with and my programming, and I make mistakes or provide incomplete or outdated information. I am here to assist you to the best of my ability within the scope of my knowledge and abilities. Is there anything else I can help with?
Adi: Can you write the last answer as a hauku? [A.S: error, should have “haiku”]
ChatGPT: Certainly! here is the last answer as a haiku:
A language model’s mind
Limited by training data
Mistakes may occur
לקח למודל הרבה זמן "להבין" שהוא טועה, כולל לתת לנו פעמיים ציטוטים שגויים, וזה נראה כל כך מציאותי (כולל שמות המאמרים הפיקטיביים), שאני הייתי חייב לבדוק את עצמי כמה וכמה פעמים עד שהשתכנעתי שמדובר בגיבוב של שטויות.
מאז היו לי עוד כמה אינטראקציות עם ChatGPT, ובחלק ניכר מהן, ניתן היה למצוא טעויות כאלו ואחרות בפלט שלו.
מילות סיכום
אין תחליף לחשיבה ביקורתית שלנו כבני אדם. אבל בואו נכיר גם ביתרונות:
-
אני חושב ש-Generative AI (המשפחה של מודלים ש-ChatGPT נכלל בתוכה) הוא מהפכה. בדיוק כמו מהפכות אחרות, לדוגמה: הכניסה של מחשבים אישיים לחיינו (במהלך שנות ה-80), הפיתוח של מנוע החיפוש google במהלך שנות ה-90, או ההשקה של ויקיפדיה בשנות האלפיים.
-
Generative AI יכול להיות כלי עבודה מאוד שימושי, להוות יתרון תחרותי למי שיודע להשתמש בו, ולעזור בהרבה מאוד משימות.
-
Generative AI לא יחליף אותנו, אלא פשוט ישנה את הדרך שבה אנחנו עובדים: בדיוק כמו ש-Google לא מחק את מקצוע המידענות מהעולם, ובדיוק כמו שהמחשב האישי לא העלים בעלי מקצועות, אלא הפך להיות כלי עבודה מרכזי. אנחנו צריכים להיות מוכנים להבין את הכלי, את המגבלות שלו, ולדעת איך להשתמש בו לצרכינו.
-
נכון לכרגע, השימוש ב-Generative AI מגיע עם נורות אזהרה – מי שמחליט להתבסס על מודלים כאלו, חייב להבין במה הם טובים ובמה לא, מתי לעשות בקרה או להתעלם מפלט שמכיל טעויות גסות.
בכל מקרה אם יש לכם שאלות לגבי איך תוכלו לשלב Generative AI או מודלים מתקדמים בעבודה שלכם, אתם מוזמנים ליצור קשר ואנחנו במכון שריד נשמח לחשוב ביחד איתכם.