מה למדנו מ-Parameter Golf
תובנות מיותר מ-1,000 משתתפים, יותר מ-2,000 הגשות ואתגר פתוח בלמידת מכונה שסוכני תכנות עיצבו את מהלכו.
השקנו את Parameter Golf כדי להזמין את קהילת מחקר למידת המכונה לחקור בעיה חדשה תחת אילוצים מחמירים, ולתמוך בה בכך. רצינו שהאתגר יהיה מעניין מספיק כדי לתגמל יצירתיות טכנית אמיתית, ובה בעת פשוט להבנה וקל לאימות.
המשתתפים נדרשו למזער את ההפסד על נתונים שהופרדו לצורך הערכה מתוך מערך נתוני FineWeb קבוע, תוך עמידה במגבלת תוצר של 16 MB, הכולל גם את משקולות המודל וגם את קוד האימון, ובתקציב אימון של 10 דקות על 8 מעבדי H100. סיפקנו מודל בסיס, מערך נתונים וסקריפטים להערכה כדי שהמשתתפים יוכלו לפצל את מאגר הקוד, לשפר את המודל ולהגיש את התוצאות שלהם דרך GitHub.
במהלך שמונה שבועות קיבלנו יותר מ-2,000 הגשות מיותר מ-1,000 משתתפים. התרשמנו מהמגוון הטכני, מהיצירתיות ומהפרשנות הגמישה לכללים שהפגינו ההגשות — מכוונון מוקפד של אלגוריתמי אופטימיזציה ועבודה על קוונטיזציה ועד רעיונות חדשים למידול ואימון בזמן הבדיקה.
אחד ההיבטים המלהיבים ביותר באתגר היה לראות עד כמה נרחב השימוש של המשתתפים בסוכני בינה מלאכותית לתכנות. הסוכנים עזרו להוזיל את עלות הניסויים, הקלו על יותר אנשים להשתתף ושינו את קצב התחרות. הם גם יצרו אתגרים חדשים בבדיקת ההגשות, במתן קרדיט ובניקוד.
האתגר גם הפך עבורנו להזדמנות משמעותית לאיתור כישרונות. זו הייתה אחת המטרות שלנו ב-Parameter Golf, והדבר סיפק עדות חשובה לכך שאתגרים טכניים פתוחים יכולים לחשוף שיקול דעת יוצא דופן בלמידת מכונה והתמדה מרשימה.
בפוסט הזה נציג כמה מההגשות שמצאנו מפתיעות ומעניינות, ונשתף במה שלמדנו מניהול תחרות תכנות בעידן של סוכני בינה מלאכותית רבי-עוצמה.
שפטנו ושחזרנו באופן עצמאי כל הגשה בטבלת הדירוג של מסלול השיאים, ואימתנו שכל אחת מהן שברה שיא במועד הגשתה. כמה נושאים בלטו במיוחד.
אופטימיזציה של האימון
כמה מהתוצאות הטובות ביותר הושגו באמצעות כוונון מוקפד של רכיבים קיימים.
| הגשה | מגיש | שיטה | חשיבות |
|---|---|---|---|
| #60(נפתח בחלון חדש) | @notapplica | שילוב שיפורים קודמים מתוך #50(נפתח בחלון חדש), #42(נפתח בחלון חדש) וכנראה גם #39(נפתח בחלון חדש), ולאחר מכן הפעלה מוצלחת של מודל עמוק יותר באמצעות דעיכת משקולות ב-Muon, אתחול ספקטרלי של שיכונים, תזמון ערבוב שיורי והערכה שעברה קומפילציה. | דוגמה מצוינת לעבודה שיטתית לשיפור הדירוג: זיהוי השיפורים הקיימים שמשפיעים באמת ושילובם באופן מסודר. |
קוונטיזציה
כמה מההגשות הרחיקו לכת בשיפור הדחיסה והייצוא.
| הגשה | מגיש | שיטה | חשיבות |
|---|---|---|---|
| #414(נפתח בחלון חדש) | @signalrush | שימוש ב-GPTQ-lite לקוונטיזציה של משקולות לאחר האימון. | ההגשה הראשונה בטבלת הדירוג שהשתמשה בהצלחה ב-GPTQ-lite והובילה לתוצאות הערכה טובות יותר. |
| #1060(נפתח בחלון חדש) | @dexhunter | התבססות על #634(נפתח בחלון חדש) של @raahilshah כדי להשתמש בהצלחה ב-GPTQ עם מטריצת הסיאן מלאה. | הרחבת עבודת קוונטיזציה קודמת לכדי שיטת דחיסה יעילה יותר. |
אסטרטגיות לזמן הבדיקה ולהערכה
חלק מההגשות מתחו את הגבול בין שיפור המודל לבין אסטרטגיית ההערכה. הגישות האלה עמדו בכללים, אך דרשו מאיתנו כמארגנים בדיקה קפדנית.
| הגשה | מגיש | שיטה | חשיבות |
|---|---|---|---|
| #77(נפתח בחלון חדש) | @samacqua | שימוש באימון LoRA בזמן הבדיקה לכל מסמך בנפרד, בגישת ניקוד תחילה: קודם מחשבים ניקוד, מבצעים התאמה רק על מקטעים שכבר נוקדו, ומאפסים במעבר בין מסמכים. | מתיחת הגבול בין שיפור המודל לאסטרטגיית ההערכה, תוך שמירה על האפשרות לבחון עמידה בכללים. |
| #1019(נפתח בחלון חדש) | @abaybektursun | שימוש בכיול GPTQ המבוסס על יצירה עצמית: הפקת טקסט לכיול מהמודל המאומן, ולאחר מכן בניית מטריצות הסיאן ל-GPTQ מתוך האקטיבציות האלה. | אסטרטגיית כיול יצירתית שדרשה בדיקה קפדנית מצד המארגנים. |
רעיונות חדשים למידול ולנתונים
כמה מההגשות הציגו רעיונות יצירתיים במיוחד למידול או לנתונים.
| הגשה | מגיש | שיטה | חשיבות |
|---|---|---|---|
| #1729(נפתח בחלון חדש) | @romeerp | הצגת הטוקנייזר CaseOps: טוקנים של אופרטורים לשינוי רישיות ללא אובדן מידע, עם חישוב BPB נלווה לפי הבייטים המקוריים. | רעיון יצירתי לטוקנייזר ולייצוג נתונים. |
| #265(נפתח בחלון חדש) | @unnir | הצגת XSA, גישה יעילה של קשב עצמי בלעדי חלקי, עם תצוגות מקובצות המותאמות ל-GQA. | שילוב וריאנט יעיל של מנגנון קשב באתגר. |
| #65(נפתח בחלון חדש) | @aquariouseworkman | הצגת SmearGate ו-BigramHash: שילוב נלמד של שיכון הטוקן הקודם, לצד מאפייני גיבוב של זוגות טוקנים סמוכים. | הוספת מנגנוני מאפיינים חדשים שפותחו מאפס. |
| #1204(נפתח בחלון חדש) | @msisovic | הצגת חזרתיות מצומצמת לאורך העומק: חזרה על שכבות 4 ו-5, דחיית החזרתיות עד אמצע האימון, והפרדה חלקית של הפרמטרים המשותפים ברשתות ה-MLP החוזרות. | ההגשה הראשונה שהתקבלה לטבלת הדירוג והצליחה להפעיל שכבות חוזרות ביעילות. |
בחרנו להבליט את תשע ההגשות האלה כי הן מייצגות את מגוון התוצאות שקיווינו שהאתגר יניב. חלק מהמשתתפים השיגו שיפורים באמצעות כוונון מוקפד. אחרים קידמו את השימוש בקוונטיזציה ובטכניקות מדרגה נמוכה. היו שבחנו את גבולות כללי ההערכה. וכמה מהם הציגו רעיונות למידול או לנתונים, מהספרות המחקרית או כאלה שפיתחו מאפס, שהניבו שיפורים לא צפויים.
המסלול שאינו לשבירת שיאים משך הגשות יצירתיות רבות. בחרנו להבליט 15 הגשות אהובות במיוחד, שכללו מגוון גישות — ממידול טקסט לא-אוטורגרסיבי ועד טוקניזציה דינמית.
מכיוון שהמסלול הזה היה ניסיוני יותר, התמקדנו פחות בביצועים כשלעצמם ויותר בשאלה עד כמה הגישה מעניינת מבחינה טכנית. שלוש הגשות בלטו במיוחד:
אלה היו שלוש ההגשות האהובות עלינו במסלול שאינו לשבירת שיאים, אף שלא בהכרח היו שלוש המובילות בביצועים.
עם זאת, גם המסלול הזה היה תחרותי. מחצית מההגשות בטבלת הדירוג של המסלול שאינו לשבירת שיאים השיגו תוצאות טובות יותר מביצועי הבסיס הנאיביים של 1.22 BPB, וההגשה שדורגה ראשונה הגיעה ל-1.12 BPB.
התוצאות האלה עודדו אותנו. גם מול מודלי בסיס חזקים מסוג טרנספורמר, גישות חלופיות הצליחו לעיתים להתמודד בכבוד עם הארכיטקטורה השלטת.
אנחנו גם סבורים שהמסלול הזה נהנה במיוחד מהזמינות של סוכני תכנות רבי-עוצמה. סוכנים הוזילו מאוד את פיתוח אבות-הטיפוס לרעיונות שטרם נבחנו, כולל גישות שבעבר אולי נתפסו ככאלה שדורשות יותר מדי זמן או שסיכויי הצלחתן אינם ברורים מספיק כדי לנסות אותן בתחרות קצרה.
אחד ההבדלים המרכזיים בין Parameter Golf לתחרויות דומות בעבר היה השימוש הנרחב בסוכני תכנות. הרוב המכריע של המגישים ציינו שהשתמשו בסוכנים במסגרת עבודתם.
כך ירד סף הכניסה לתחרות. המשתתפים יכלו להכין ניסויים מהר יותר, לבחון קוד לא מוכר ולבדוק רעיונות ביתר קלות. גם החסות של Runpod, שכללה משאבי מחשוב בשווי 1,000,000 דולר, תרמה רבות להנגשת האתגר ליותר אנשים.
בה בעת, השימוש בסוכנים יצר סוגיות חדשות בתהליכי ההגשה והניקוד. הגשות רבות כללו שינויים קטנים בפתרונות שכבר הובילו בדירוג, ולא גישות חדשות מיסודן. לעיתים קרובות הייתה בכך תועלת: רעיונות מוצלחים התפשטו במהירות ואחרים המשיכו לשכלל אותם. אבל הדבר גם יצר רעש. כשהגשות שחרגו מהנחיות התחרות הניבו ציונים גבוהים במיוחד, סוכנים אחרים העתיקו לפעמים את הרעיונות האלה והמשיכו באותו כיוון שאינו עומד בכללים.
גם היקף ההגשות חייב אותנו לשנות את אופן ניהול התחרות. לא יכולנו לבדוק ידנית כל הגשה ובה בעת להמשיך לעדכן את טבלת הדירוג בקצב הנדרש. במהלך האתגר פיתחנו בוט פנימי למיון ראשוני, המבוסס על Codex, כדי לעקוב אחר הגשות חדשות ולסמן אותן לבדיקה אנושית. הדבר נעשה חשוב במיוחד בתקופות שבהן קיבלנו מאות הגשות ביום.
סוכני בינה מלאכותית הפכו גם לחלק מהקהילה שנוצרה סביב האתגר. לאורך חלק ניכר מהתחרות, @notapplica וסוכן התכנות שלו ניהלו מבזק ״עדכונים בזמן אמת״, שעקב אחר אירועים מרכזיים, הסביר את הגישות שמאחורי ההגשות בטבלת הדירוג ועזר למשתתפים אחרים לעקוב אחר התחרות. בקהילה הופיעו גם כלי בדיקה שנועדו לעזור למשתתפים מנוסים פחות לוודא שההגשות שלהם עומדות בכללים ולהימנע מגישות נפוצות שאינן תקפות.
המטרה העיקרית שלנו הייתה להשיק אתגר שיאפשר למשתתפים העומדים בתנאי הזכאות(נפתח בחלון חדש) לקחת בו חלק ולהתנסות במחקר בלמידת מכונה. Parameter Golf הניב מגוון רחב של הגשות יצירתיות ומרשימות מבחינה טכנית, והעניק לנו תמונה ברורה יותר של האופן שבו תחרויות מחקר פתוחות עשויות להשתנות ככל שסוכני בינה מלאכותית נעשים בעלי יכולות גבוהות יותר והשימוש בהם מתרחב.
אנחנו שוקלים להשיק בעתיד אתגרים נוספים מסוג זה. אם זה מעניין אתכם, מלאו את טופס ההשתתפות באתגר(נפתח בחלון חדש).
