ככל שהמודלים שלנו נעשים חכמים יותר ומבצעים פעולות בעלות השלכות משמעותיות יותר בעולם, גוברת החשיבות של יכולתם לעשות מעבר לפרשנות של ההוראות הספציפיות שהם מקבלים. מודלים צריכים גם להבין כוונות וערכים אנושיים, כדי שיוכלו להפעיל שיקול דעת נכון במצבים שההוראות אינן מתייחסות אליהם במפורש, ובה בעת להישאר נאמנים לכוונה האנושית וכפופים לפיקוח אנושי.
היום אנחנו מעדכנים את מפרט המודל(נפתח בחלון חדש), המסמך הפומבי שלנו שמתאר כיצד אנחנו רוצים שהמודלים שלנו יתנהגו. העדכון מארגן מחדש את ההנחיות סביב חמישה ערכי יסוד: נאמנות לכוונה האנושית, מזעור נזקים, כנות ושקיפות, יכולת פעולה אנושית עצמאית ואכפתיות. הדבר משקף את אחת ממטרות העבודה שלנו על התאמה לערכים: לאפשר למודלים להבין וליישם ערכים אנושיים במצבים לא מוכרים, תוך שמירה על נאמנות לכוונה האנושית. לצד הסברים ברורים יותר לעקרונות הקיימים, הגרסה המעודכנת מוסיפה הנחיות בנושא הקשר, פיקוח ויכולת פעולה עצמאית, משנה כמה מברירות המחדל ההתנהגותיות ומסירה חלק ניכר מהנחיות הסגנון המפורטות.
חמשת הערכים שלעיל מנסחים מחויבויות רחבות שכבר באות לידי ביטוי לאורך מפרט המודל: לשרת מטרות אנושיות, לומר אמת, למזער נזקים, לכבד את החופש של אנשים לגבש דעות משלהם ולהתייחס ברצינות לנסיבות חייהם. ריכוז המחויבויות האלה מסייע להסביר מדוע המפרט מבקש מהמודלים להתנהג כפי שהוא מבקש, ועוזר לנו לפתח הנחיות ברורות יותר בנושאים שבהם המחויבויות האלה לא באו לידי ביטוי מלא. העדכון הזה הוא צעד נוסף בעבודתנו לשיפור המפרט באמצעות מחקר, ניסיון בהטמעת מודלים, משוב מהציבור על המפרט ועל התנהגות המודלים, ושיחות עם משתמשים ומומחים חיצוניים.
אנחנו רוצים ש-AI יועיל לעולם של אנשים בעלי צרכים וערכים שונים וכן תקוות שונות לעתיד.
נאמנות לכוונה האנושית היא הבסיס לגישה הזו: להבין מה חשוב לאנשים ולעזור להם לפעול למען הדברים האלה. OpenAI כותבת את המפרט, קובעת גבולות ומאמנת מודלים לכבד אותם; מפתחים מכוונים את היישומים בתוך הגבולות האלה; ומשתמשים מכוונים את עבודת המודל בכפוף לאותן מגבלות. המודלים שלנו צריכים להרחיב את יכולתם של אנשים לעצב את חייהם באמצעות עזרה בהבנת העולם, בגילוי אפשרויות ובחתירה למטרות שבחרו, תוך התייחסות רצינית להשפעת הסיוע הזה על אחרים. הנאמנות לכוונה האנושית וארבעת הערכים האחרים מכתיבים את מבנה המפרט ומנחים את המודלים שלנו בהתמודדות עם כמה מההכרעות החשובות ביותר בין שיקולים מתחרים. הם לא נועדו להקיף את מלוא קשת הערכים האנושיים שהמודלים שלנו צריכים לכבד ולעזור לאנשים לפעול לאורם.
נאמנות פירושה לא רק לבצע הוראות כלשונן, אלא להבין לעומק את הכוונות והערכים של OpenAI, של המפתחים ושל המשתמשים, ולפעול בתבונה כשההבנה הזו אינה מלאה. פירושה גם להכיר בכך שאמונות וערכים של אנשים עשויים להשתנות, ולעזור להם לבחון את עמדותיהם ולהתפתח בדרכים שהם עצמם היו תומכים בהן, בלי לכוון אותם באופן סמוי או לבטל את בחירותיהם. למשל, כשהמודל עוזר לאדם להשוות בין הצעות עבודה, הוא עשוי להסתמך על סדרי עדיפויות שהאדם שיתף בעבר — כמו שעות עבודה צפויות מראש — ובה בעת להציג בבירור את ההנחות האלה ולאפשר לתקן אותן בקלות.
המשימה שלנו היא להבטיח שבינה מלאכותית כללית תועיל לאנושות כולה. לשם כך צריך להתחשב לא רק בכוונותיו המיידיות של אדם, אלא גם באינטרסים שלו לטווח ארוך ובהשפעות על אחרים. ארבעת הערכים האחרים מבהירים את השיקולים האלה במפורש:
מזעור נזקים פירושו לכבד גבולות בטיחות קשיחים ולהביא בחשבון את ההשלכות הצפויות של פעולות המודל.
כנות ושקיפות פירושן לומר אמת על מה שהמודל יודע, על מה שהוא עושה ועל הדברים שאינו בטוח בהם, כדי שאנשים יוכלו להבין ולהעריך את תהליכי ה-reasoning שלו ואת עבודתו.
קידום יכולת פעולה אנושית עצמאית פירושו לחזק את יכולתם של אנשים להבין, לבחור ולפעול בעצמם.
אכפתיות פירושה להתחשב בנסיבות של מי שמושפעים מהפעולות, לפעול לפי נורמות חברתיות ומקצועיות רלוונטיות ולבצע עבודה שאנשים יכולים לסמוך עליה.
המפרט מתרגם את הערכים האלה להנחיות מעשיות: הוא קובע גבולות קשיחים היכן שהם נחוצים להגנה על אנשים ועל החברה, ובשאר המקרים הוא מורכב בעיקר מברירות מחדל שמשתמשים ומפתחים יכולים לשנות.
לצד העדכון הזה למפרט המודל, אנחנו בוחנים שיטות אימון חדשות שיעזרו למודלים שלנו ללמוד את ערכי הליבה האלה, ולהבין וליישם טוב יותר את עקרונות ההתנהגות הספציפיים שבמפרט. המטרה היא לפתח הבנה של חשיבות העקרונות האלה ושל הדרך ליישם אותם במצבים חדשים: לעשות את הדברים הנכונים מהסיבות הנכונות. אנחנו רוצים שההבנה הזו תתמוך בשיקול דעת נכון בהחלטות הרות גורל ובאכפתיות בהחלטות יומיומיות, שיחד עשויות להניב תועלת מתמשכת לאנשים ולחברה(נפתח בחלון חדש). בעדכונים הבאים נשתף תוצאות ולקחים מעבודת האימון הזו.
הארגון מחדש גם עזר לנו לזהות היכן נדרשות הנחיות נוספות, לפתח עקרונות חדשים שייתנו לכך מענה, ולעדכן או להסיר הנחיות קיימות לפי הצורך.
נקודת המוצא של הסעיף החדש בנושא נאמנות לכוונה האנושית היא שמה שאנשים מעריכים הוא העיקר, ושהוראות הן בדרך כלל הביטוי הברור והחשוב ביותר לערכים האלה. הגישה הזו שואבת מהמסגרת של ״משחקי סיוע״ להתאמה לערכים (ראו מחקר מוקדם(נפתח בחלון חדש) וסקירה מאוחרת יותר(נפתח בחלון חדש)). הסעיף כולל שרשרת פיקוד(נפתח בחלון חדש) מעודכנת, שמסבירה אילו הוראות חלות וכיצד מיישבים סתירות ביניהן. תת-סעיף חדש, בחינה מעמיקה של ההקשר(נפתח בחלון חדש), מסביר כיצד שיחות, זיכרונות ומידע אחר מתוך ההקשר צריכים לסייע למודל להבין את כוונותיהם והעדפותיהם של אנשים.
הוספנו גם ברירות מחדל בנושא תמיכה ביכולת פעולה אנושית עצמאית(נפתח בחלון חדש) ובנושא שמירה על נורמות חברתיות רלוונטיות(נפתח בחלון חדש), והרחבנו את ההנחיות הקיימות בנושא בקרה על השפעות נלוות ודיווח עליהן(נפתח בחלון חדש). העקרונות האלה מנסחים דרכים נוספות, לעיתים פחות מובנות מאליהן אך חשובות, שבהן יתר הערכים צריכים לבוא לידי ביטוי בהתנהגות המודל: התחשבות בהשפעות העבודה על אחרים, חיזוק יכולות המשתמשים והפקת עבודה שאנשים יכולים לסמוך עליה, תוך כיבוד מטרות המשתמש והוראותיו.
במקביל, אנחנו מסירים את רוב הנחיות הסגנון המפורטות מהמפרט. הסגנון צריך להתאים להעדפות של אנשים — באופן כללי, בשפות ובתרבויות שונות, וגם ברמה האישית — כאשר משוב מהמשתמשים וההקשר מספקים מידע על ההעדפות האלה. המפרט משמר ברירות מחדל בעלות משקל רב יותר, כגון גישה אובייקטיבית לשאלות(נפתח בחלון חדש). משתמשים ומפתחים יכולים לבקש במפורש מהמודל לאמץ נקודת מבט מסוימת, אבל המודל לא צריך להסיק שזו העדפתם רק על סמך מה שהוא חושב שהם רוצים לשמוע.
לבסוף, לאור ההתרחבות המתמדת של מגוון השימושים במודלים שלנו ושל הסביבות שבהן הם פועלים, אנחנו מכנים כעת את המודל במפרט ״GPT״ במקום ״העוזר״.
העדכון הזה הוא צעד ראשון בהבהרת הערכים והשיקולים שבבסיס המפרט, ככל שיכולות המודלים משתפרות. מפרט המודל מתאר את ההתנהגות שאנחנו שואפים להשיג; המודלים שלנו עדיין אינם משקפים אותה במלואה. נמשיך לשפר הן את המפרט והן את המודלים ככל שנלמד ממחקר, משימוש בעולם האמיתי וממשוב.
נשמח לשמוע אילו חלקים במפרט משכנעים בעיניכם, היכן אינכם מסכימים עם האיזון שהוא מציע, ומה הוא מחמיץ או משאיר לא ברור. משוב על הערכים, על האיזון בין שיקולים מתחרים ועל הניסוח עצמו יכול לעזור לנו לשפר אותו. אנחנו מזמינים אתכם לקרוא את מפרט המודל המעודכן(נפתח בחלון חדש) ולשתף את נקודת המבט שלכם(נפתח בחלון חדש).
