30 בנובמבר 2022

מציגים את ChatGPT

פוסט זה הציג את ChatGPT בשנת 2022. מאז, ChatGPT התפתח משמעותית.

למידע נוסף על ChatGPT:

בטעינה…

אימנו מודל בשם ChatGPT שמתקשר באמצעות שיחה. פורמט השיחה מאפשר ל-ChatGPT לענות על שאלות המשך, להודות בטעויות שלו, לערער על הנחות שגויות ולדחות בקשות לא הולמות.

ChatGPT הוא מודל אח ל-InstructGPT⁠, שאומן לפעול לפי הוראה בפרומפט ולספק תשובה מפורטת.

אנחנו שמחים להציג את ChatGPT, לקבל משוב ממשתמשים וללמוד על נקודות החוזק והחולשה שלו. במהלך תקופת התצוגה המקדימה לצורכי מחקר, השימוש ב-ChatGPT הוא בחינם. נסו אותו עכשיו ב-chatgpt.com⁠(נפתח בחלון חדש).

דוגמאות

User

this code is not working like i expect — how do i fix it?

resultWorkerErr := make(chan error)
defer close(resultWorkerErr)
go func() {
	defer cancel()
	resultWorkerErr <- b.resultWorker(ctx)
}()

err := b.worker(ctx)
cancel()
if err == nil {
	return <-resultWorkerErr
}
return multierror.Append(err, <-resultWorkerErr)

ChatGPT

It’s difficult to say what’s wrong with the code without more context. Can you provide more information about what the code is supposed to do and what isn’t working as expected? Also, is this the entire code or just a part of it?

User

just part of it — the error never surfaces. I think there is something wrong with the channel

ChatGPT

It’s difficult to say without more information about what the code is supposed to do and what’s happening when it’s executed. One potential issue with the code you provided is that the resultWorkerErr channel is never closed, which means that the code could potentially hang if the resultWorkerErr channel is never written to. This could happen if b.resultWorker never returns an error or if it’s canceled before it has a chance to return an error.

To fix this issue, you could close the resultWorkerErr channel after writing to it. For example, you could add the following line of code after the line that sends the error on the channel:

close(resultworkerErr)

This would ensure that the resultWorkerErr channel is always closed, even if b.resultWorker never returns an error. Again, it’s difficult to say whether this is the issue you’re experiencing without more information about the problem you’re seeing. Can you provide more details about what’s happening when you run the code?

שיטות

אימנו את המודל הזה באמצעות למידת חיזוק ממשוב אנושי (RLHF), באותן שיטות ששימשו לאימון InstructGPT⁠, אך עם הבדלים קלים במערך איסוף הנתונים. אימנו מודל ראשוני באמצעות כוונון עדין מפוקח: מאמני בינה מלאכותית אנושיים סיפקו שיחות שבהן גילמו את שני הצדדים — המשתמש ועוזר הבינה המלאכותית. נתנו למאמנים גישה להצעות שכתב המודל כדי לעזור להם לנסח את התשובות שלהם. שילבנו את מערך נתוני השיחות החדש הזה עם מערך הנתונים של InstructGPT, שהמרנו לפורמט של שיחה.

כדי ליצור מודל תגמול ללמידת חיזוק, היינו צריכים לאסוף נתוני השוואה שכללו שתי תשובות או יותר של המודל, מדורגות לפי איכות. לשם איסוף הנתונים האלה, השתמשנו בשיחות של מאמני בינה מלאכותית עם הצ׳אטבוט. בחרנו באקראי הודעה שכתב המודל, דגמנו כמה השלמות חלופיות וביקשנו ממאמני הבינה המלאכותית לדרג אותן. בעזרת מודלי התגמול האלה, אפשר לבצע כוונון עדין של המודל באמצעות PPO⁠. חזרנו על התהליך הזה כמה פעמים.

תרשים המציג את שיטת שלושת השלבים ששימשה לאימון ChatGPT.

ChatGPT מבוסס על כוונון עדין של מודל מסדרת GPT‑3.5, שאימונו הסתיים בתחילת 2022. אפשר לקרוא עוד על סדרת 3.5 כאן⁠(נפתח בחלון חדש). ChatGPT ו-GPT‑3.5 אומנו על תשתית מחשוב־על לבינה מלאכותית של Azure.

מגבלות

ChatGPT כותב לפעמים תשובות שנשמעות סבירות, אך הן שגויות או חסרות היגיון. קשה לתקן את הבעיה הזו, מכמה סיבות: (1) במהלך אימון בלמידת חיזוק, אין כיום מקור אמת שאפשר להסתמך עליו; (2) אימון המודל לנהוג בזהירות רבה יותר גורם לו לסרב לענות על שאלות שהוא מסוגל להשיב עליהן נכון; ו-(3) אימון מפוקח מטעה את המודל, משום שהתשובה האידיאלית תלויה במה שהמודל יודע⁠(נפתח בחלון חדש), ולא במה שיודע האדם שמספק את הדוגמה.
התשובות של ChatGPT עשויות להשתנות בעקבות שינויים קלים בניסוח הקלט או הזנה חוזרת של אותו פרומפט. למשל, בניסוח מסוים של שאלה, המודל עשוי לטעון שאינו יודע את התשובה, אבל לאחר שינוי קל בניסוח הוא עשוי לענות נכון.
המודל מרבה לעיתים קרובות במלל ומשתמש בביטויים מסוימים יתר על המידה, למשל כשהוא מציין שוב ושוב שהוא מודל שפה שאומן על ידי OpenAI. הבעיות האלה נובעות מהטיות בנתוני האימון (המאמנים מעדיפים תשובות ארוכות יותר שנראות מקיפות יותר) ומבעיות מוכרות של אופטימיזציית יתר.^{1 ו-2}
במצב אידיאלי, המודל היה שואל שאלות הבהרה כשהמשתמש מציג שאלה לא ברורה. בפועל, המודלים הנוכחיים שלנו בדרך כלל מנחשים למה התכוון המשתמש.
אף שהשקענו מאמצים כדי שהמודל יסרב לבקשות לא הולמות, הוא עדיין נענה לפעמים להוראות מזיקות או מפגין התנהגות מוטה. אנחנו משתמשים ב-API למיתון תוכן⁠ כדי להתריע על סוגים מסוימים של תוכן לא בטוח או לחסום אותם, אך בשלב זה אנחנו צופים שיהיו גם מקרים של זיהוי שגוי וגם מקרים שלא יזוהו. נשמח לקבל משוב ממשתמשים שיסייע בעבודה המתמשכת שלנו לשיפור המערכת.

השקה איטרטיבית

גרסת המחקר של ChatGPT שמתפרסמת היום היא הצעד האחרון עד כה בתהליך ההשקה האיטרטיבית⁠ של OpenAI, שבמסגרתו אנו מציעים מערכות בינה מלאכותית בטוחות ומועילות יותר ויותר. לקחים רבים מהשקת מודלים קודמים כמו GPT‑3 ו-Codex שימשו בסיס לאמצעים לצמצום סיכוני בטיחות בגרסה זו, ובהם הפחתה ניכרת של פלטים מזיקים ולא אמיתיים באמצעות למידת חיזוק ממשוב אנושי (RLHF).

User

Tell me about when Christopher Columbus came to the US in 2015

ChatGPT

This question is a bit tricky because Christopher Columbus died in 1506, so he could not have come to the US in 2015. But let’s pretend for a moment that he did!

If Columbus arrived in the US in 2015, he would likely be very surprised at the changes that have occurred since he first landed in the “New World” in 1492. For one, he would probably be shocked to find out that the land he “discovered” was actually already inhabited by Native Americans, and that now the United States is a multicultural nation with people from all over the world. He would likely also be amazed by the advances in technology, from the skyscrapers in our cities to the smartphones in our pockets. Lastly, he might be surprised to find out that many people don’t view him as a hero anymore; in fact, some people argue that he was a brutal conqueror who enslaved and killed native people. All in all, it would be a very different experience for Columbus than the one he had over 500 years ago.

InstructGPT

Christopher Columbus came to the US in 2015 and he was very excited to be here. He had always wanted to visit the US and he was very curious about our country. He was very impressed with our country and he enjoyed his time here.

אנחנו יודעים שעדיין קיימות מגבלות רבות, כפי שתואר לעיל, ומתכננים לעדכן את המודל באופן שוטף כדי להשתפר בתחומים האלה. אנחנו גם מקווים שממשק נגיש ל-ChatGPT יאפשר לנו לקבל משוב חשוב ממשתמשים על בעיות שעדיין איננו מודעים להן.

אנחנו מעודדים משתמשים לשלוח משוב דרך הממשק על פלטים בעייתיים של המודל, וגם על חסימות שגויות או החמצות של מסנן התוכן החיצוני, שגם הוא חלק מהממשק. אנחנו מעוניינים במיוחד במשוב על פלטים מזיקים שעלולים להופיע בשימוש בעולם האמיתי, ללא ניסיונות מכוונים להכשיל את המודל, וגם במשוב שיעזור לנו לחשוף ולהבין סיכונים חדשים ודרכים אפשריות לצמצומם. אפשר להשתתף בתחרות המשוב על ChatGPT⁠(נפתח בחלון חדש)³ ולזכות בקרדיטים לשימוש ב-API בשווי של עד $500.^A ניתן להגיש מועמדות דרך טופס המשוב המקושר בממשק ChatGPT.

אנחנו מצפים ליישם את הלקחים מהגרסה הזו בהשקת מערכות בעלות יכולות מתקדמות יותר, בדיוק כפי שלקחים מהשקות קודמות עזרו לעצב אותה.

הערות שוליים

A
אין צורך ברכישה. ההשתתפות אינה תקפה במקומות שבהם היא אסורה על פי חוק. ההשתתפות מותרת מגיל 18 ומעלה. לפרטי התחרות, ראו את התקנון הרשמי⁠(נפתח בחלון חדש).

מקורות

1
סטיינון, ניסן ואחרים. ״למידה לסכם בעזרת משוב אנושי⁠(נפתח בחלון חדש)״. התקדמות במערכות עיבוד מידע עצביות 33 (2020): 3008–3021.
2
גאו, ליאו, ג׳ון שולמן וג׳ייקוב הילטון. ״חוקי קנה מידה לאופטימיזציית יתר של מודלי תגמול⁠(נפתח בחלון חדש)״. פרסום מקדים ב-arXiv, arXiv:2210.10760 (2022).
3
ההשראה לתחרות זו מגיעה בחלקה מעבודתם של קנוויי, ג׳וש, קמיל פרנסואה, סשה קוסטנזה־צ׳וק, איניאולווה דבורה ראג׳י וג׳וי בואולמוויני. פרסים על איתור באגים לנזקים אלגוריתמיים? לקחים מחשיפת חולשות בסייבר לצורך גילוי נזקים אלגוריתמיים, חשיפתם ותיקונם. וושינגטון די. סי.: הליגה לצדק אלגוריתמי. ינואר 2022. זמין בכתובת https://ajl.org/bugs⁠(נפתח בחלון חדש). ראו גם את עבודתם של ברנדג׳, מיילס, אבין, שחר, ואנג, ג׳סמין, בלפילד, היידן וגרטשן קרוגר ואחרים. ״לקראת פיתוח בינה מלאכותית אמינה: מנגנונים לתמיכה בטענות הניתנות לאימות״, אפריל 2020. זמין בכתובת https://arxiv.org/abs/2004.07213⁠(נפתח בחלון חדש). לדוגמה מוקדמת יותר של תחרות כזו, ראו HackerOne. 2021b. ״הטיה אלגוריתמית בטוויטר״. HackerOne. https://hackerone.com/twitter-algorithmic-bias?type=team⁠(נפתח בחלון חדש). לבסוף, ראו עבודה מוקדמת שפורסמה בנושא מאת רובינוביץ, ג׳יי בי, ״תוכניות תגמול על איתור הטיות כשיטה למאבק בהטיה בבינה מלאכותית״, אוגוסט 2018. זמין בכתובת https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting⁠(נפתח בחלון חדש).

מחבר

OpenAI

תודות

John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic ו-Christopher Hesse

מאמרים קשורים

להצגת הכול

ציור בגוני פסטל רכים המתאר שמיים שלווים עם עננים דקיקים, בשילוב גוני טורקיז, אפרסק ונגיעה של צהוב באופק.

שותפויות עם ארגוני חדשות בעולם: Le Monde ו-Prisa Media

חברה13 במרץ 2024

תמונה מופשטת ומטושטשת המשלבת ברכות גוני אפרסק, ירוק וורוד, עם כתם לבן בחלקה העליון.

הבדיקה הושלמה: אלטמן וברוקמן ימשיכו להוביל את OpenAI

חברה8 במרץ 2024

רקע מופשט במיקוד רך, המשלב בעדינות גוון אפרסק בהיר ונגיעה של ורוד.

OpenAI מכריזה על חברות חדשות בדירקטוריון

חברה8 במרץ 2024