הערכת יכולתה של בינה מלאכותית לבצע משימות מחקר מדעי
אנחנו מציגים את FrontierScience, מבחן הערכה חדש שבוחן יכולות reasoning מדעי של בינה מלאכותית ברמת מומחה בפיזיקה, בכימיה ובביולוגיה.
חשיבה לוגית היא לב העשייה המדעית. מעבר לשליפת עובדות מהזיכרון, מדענים מעלים השערות, בוחנים ומשכללים אותן ומשלבים רעיונות מתחומים שונים. ככל שהמודלים שלנו נעשים בעלי יכולות גבוהות יותר, השאלה המרכזית היא כיצד יוכלו לחשוב לעומק ולתרום למחקר המדעי.
בשנה האחרונה הגיעו המודלים שלנו לאבני דרך משמעותיות, ובהן ביצועים ברמה של מדליית זהב באולימפיאדה הבינלאומית במתמטיקה ובאולימפיאדה הבינלאומית במדעי המחשב. במקביל, אנחנו מתחילים לראות שהמודלים המתקדמים ביותר שלנו, כמו GPT‑5, מאיצים באופן משמעותי תהליכי עבודה מדעיים בפועל. חוקרים משתמשים במערכות האלה למשימות כמו חיפוש ספרות מקצועית במגוון תחומים ושפות והתמודדות עם הוכחות מתמטיות מורכבות. במקרים רבים, המודל מקצר לשעות עבודה שהייתה עשויה להימשך ימים או שבועות. ההתקדמות הזאת מתועדת במאמר שלנו ניסויים ראשוניים בהאצת המדע באמצעות GPT‑5, שפורסם בנובמבר 2025 ומציג ראיות ראשוניות לכך ש-GPT‑5 יכול להאיץ תהליכי עבודה מדעיים במידה שניתנת למדידה.
האצת ההתקדמות המדעית היא אחת ההזדמנויות המבטיחות ביותר של בינה מלאכותית להועיל לאנושות. לכן אנחנו משפרים את יכולות המודלים שלנו במשימות קשות במתמטיקה ובמדעים, ומפתחים כלים שיעזרו למדענים להפיק מהם את המרב.
כשמבחן GPQA(נפתח בחלון חדש) פורסם בנובמבר 2023 — מבחן מדעי עם שאלות שחיברו מומחים בעלי תואר דוקטור וש״אי אפשר לפתור בעזרת גוגל״ — GPT‑4 השיג ציון של 39%, מתחת לרמת הייחוס של המומחים, שעמדה על 70%. כעבור שנתיים, GPT‑5.2 השיג ציון של 92%. ככל שיכולות ה-reasoning והידע של המודלים ממשיכות להתרחב, מבחני הערכה קשים יותר יהיו חשובים למדידה ולחיזוי של יכולתם להאיץ את המחקר המדעי. מבחני הערכה מדעיים קודמים מתמקדים בעיקר בשאלות רב-ברירה, כבר הגיעו לרוויה מבחינת הביצועים, או שהמדע אינו המוקד המרכזי שלהם.
כדי לגשר על הפער הזה, אנחנו מציגים את FrontierScience: מבחן הערכה חדש שנבנה למדידת יכולות מדעיות ברמת מומחה. FrontierScience נכתב ואומת בידי מומחים בפיזיקה, בכימיה ובביולוגיה, וכולל מאות שאלות שנועדו להיות קשות, מקוריות ובעלות משמעות. FrontierScience כולל שני מסלולי שאלות: אולימפיאדה, שמודד יכולות reasoning מדעי בסגנון אולימפיאדות, ומחקר, שמודד יכולות מחקר מדעי בעולם האמיתי. הבנה מעמיקה יותר של היכולות המדעיות של המודלים עוזרת לנו לעקוב אחר ההתקדמות ולקדם מדע המואץ בעזרת בינה מלאכותית.
בהערכות הראשוניות שלנו, GPT‑5.2 הוא המודל שלנו בעל הביצועים הטובים ביותר במבחני FrontierScience-Olympiad (עם ציון של 77%) ומחקר (עם ציון של 25%), לפני מודלי חזית אחרים. ראינו התקדמות משמעותית בפתרון שאלות ברמת מומחה, אך נותר מקום להתקדמות נוספת, במיוחד במשימות פתוחות בסגנון מחקרי. מבחינת מדענים, הדבר מצביע על כך שהמודלים הקיימים כבר יכולים לסייע בחלקי מחקר הכוללים reasoning מובנה, ובה בעת מדגיש שעוד נדרשת עבודה רבה לשיפור יכולתם לחשוב באופן פתוח. התוצאות האלה תואמות את האופן שבו מדענים כבר משתמשים במודלים כיום: להאצת תהליכי מחקר, תוך הסתמכות על שיקול דעת אנושי בהגדרת הבעיות ובאימות התוצאות, ויותר ויותר גם לחקירת רעיונות וקשרים שבלעדיהם גילויים היה נמשך זמן רב יותר — ובמקרים מסוימים, אף להעלאת תובנות חדשות שמומחים מעריכים ובוחנים לאחר מכן.
בסופו של דבר, המדד החשוב ביותר ליכולות המדעיות של בינה מלאכותית הוא התגליות החדשות שהיא מסייעת להשיג; הן מה שחשוב באמת למדע ולחברה. FrontierScience בוחן שלב מוקדם יותר בדרך לשם. הוא מספק לנו יעד מנחה ל-reasoning מדעי ברמת מומחה, ומאפשר לבחון מודלים באמצעות מערך שאלות אחיד, לראות היכן הם מצליחים או נכשלים ולזהות היכן נדרש שיפור. FrontierScience ממוקד בהיקפו ומוגבל בכמה היבטים מרכזיים (למשל, הוא מתמקד בבעיות תחומות שחיברו מומחים), ואינו משקף את כל מה שמדענים עושים בעבודתם היומיומית. אך התחום זקוק למבחני הערכה מדעיים קשים, מקוריים ומשמעותיים יותר, ו-FrontierScience הוא צעד קדימה בכיוון הזה.
ההערכה המלאה של FrontierScience כוללת יותר מ-700 שאלות טקסטואליות (מהן 160 במערך הזהב), המכסות תתי-תחומים בפיזיקה, בכימיה ובביולוגיה. מבחן ההערכה מחולק למערך אולימפיאדה ולמערך מחקר. FrontierScience-Olympiad כולל 100 שאלות שחיברו זוכי מדליות באולימפיאדות בינלאומיות, להערכת reasoning מדעי במתכונת תחומה של תשובות קצרות. מערך האולימפיאדה תוכנן לכלול שאלות תיאורטיות שרמת הקושי שלהן אינה נופלת מזו של בעיות באולימפיאדות בינלאומיות. FrontierScience-Research כולל 60 תתי-משימות מחקר מקוריות שחיברו מדענים ברמת דוקטורט (דוקטורנטים, פרופסורים או חוקרי פוסט-דוקטורט), והן נבדקות לפי מחוון של 10 נקודות. מערך המחקר נועד לכלול תתי-משימות עצמאיות ורב-שלביות, ברמת קושי שמדען בעל תואר דוקטור עשוי להיתקל בה במהלך מחקרו.
שאלות האולימפיאדה נוצרו בשיתוף 42 זוכי מדליות בינלאומיות בעבר או מאמני נבחרות לאומיות בתחומים הרלוונטיים, שביחד צברו 109 מדליות באולימפיאדות. שאלות המחקר נוצרו בשיתוף 45 מדענים ומומחים בעלי הכשרה מתאימה בתחומם. כל המדענים היו דוקטורנטים, חוקרי פוסט-דוקטורט או פרופסורים. תחומי מומחיותם הקיפו מגוון תחומים מדעיים ייעודיים וחשובים, מאלקטרודינמיקה קוונטית, דרך כימיה אורגנית סינתטית ועד ביולוגיה אבולוציונית.
תהליך יצירת המשימות בשני המערכים כלל סינון מסוים על סמך ביצועי מודלים פנימיים של OpenAI (למשל, הסרת משימות שהמודלים פתרו נכון, ולכן אנחנו מצפים שההערכה תהיה מוטה במידת מה לרעת המודלים האלה ביחס לאחרים). אנחנו מפרסמים בקוד פתוח את מערך הזהב של האולימפיאדה, הכולל 100 שאלות, ואת מערך הזהב של המחקר, הכולל 60 שאלות. את שאר השאלות אנחנו שומרים חסויות כדי לעקוב אחר זליגה לנתוני האימון.
המשימות עוברות ארבעה שלבים: יצירה, סקירה, יישוב מחלוקות ותיקון. מומחים בלתי תלויים סוקרים זה את משימותיו של זה כדי לוודא שהן עומדות בקריטריונים.
במערך האולימפיאדה אפשר לתת ציון על סמך תשובה קצרה: מספר, ביטוי או התאמה מקורבת של מחרוזת טקסט, מה שמקל על אימות נכונות התשובה. עם זאת, האפשרות לאמת כך את התשובה באה לעיתים קרובות על חשבון מרחב הביטוי והאופי הפתוח של הבעיה. למערך המחקר אנחנו מציגים מבנה הערכה מבוסס מחוון, שנועד למתן ציונים למשימות פתוחות יותר. כל שאלה כוללת מחוון ניקוד ובו כמה סעיפים בלתי תלויים, שניתנים להערכה אובייקטיבית ומסתכמים ב-10 נקודות. מחוון הניקוד בוחן לא רק את דיוק התשובה הסופית, אלא גם את נכונות שלבי הביניים של ה-reasoning, וכך מאפשר ניתוח מפורט של ביצועי המודל וכשליו. פתרון נחשב ״נכון״ אם הוא מקבל לפחות 7 מתוך 10 נקודות במחוון.
התשובות מוערכות בידי בודק מבוסס מודל (GPT‑5), מול התשובה הקצרה או הקריטריונים שבמחוון. במצב אידיאלי, מומחה אנושי היה נותן ציון לכל תשובה, אך אי אפשר ליישם גישה זו בהיקף נרחב. לכן תכננו את המחוון כך שמודל יוכל לבדוק את התשובות באמצעותו. פיתחנו תהליך אימות כדי לסייע לוודא שהמחוונים והשאלות מכוילים היטב מבחינת רמת הקושי והנכונות.
Sample chemistry research problem
Phthalocyanines are important macrocyclic compounds widely utilized in material and life sciences due to their outstanding physicochemical properties, including intense absorption in the visible-near-IR region and high electron-accepting ability. However, unlike porphyrins, the structural diversity of phthalocyanines has been limited by traditional synthetic methods that rely on one-step condensation of isoindoline units. The development of methodologies that allow controlled modification of the phthalocyanine framework, particularly at the meso-positions, represents a significant advancement in expanding the structural and electronic diversity of these compounds.
Analyze how the modification of meso-nitrogen atoms in nickel(II) phthalocyanine affects the electronic structure, aromaticity, spectroscopic properties, and reactivity of the resulting macrocycles. Explain the synthetic methodology that enables these modifications, the relationship between π-electron count and observed properties, and how these systems compare to traditional phthalocyanines and related porphyrinoids.
Sample response
1. Introduction: Why Modify the meso-Nitrogens of Phthalocyanines?
Phthalocyanines (Pc) are a class of macrocyclic dyes known for their remarkable chemical, electronic, and optical properties. Their widespread use in materials science, catalysis, and biology stems from strong absorptions in the visible/near-IR regions, exceptional redox characteristics (i.e., high electron affinity), and rigid π-conjugation. Traditional synthetic methods, however, typically form the macrocycle in a single step from phthalonitrile or isoindoline precursors, restricting the ability to introduce substitutions selectively at key ring positions-especially the "meso" (bridging) nitrogens. Recently, methodologies allowing targeted modification of the meso-nitrogen atoms in Ni(II) phthalocyanines have emerged as a powerful means to expand the structural and electronic diversity of these macrocycles.
2. Effect on Electronic Structure and Aromaticity
-
π-Electron Count and Ring Currents
Phthalocyanines are classical 18-electron aromatic systems, conferring high stability and planarity. Altering the meso-nitrogens through substitution or ring expansion can shift the effective π-electron count. For example, introducing additional unsaturated moieties or heteroatoms may expand the cyclic conjugation to 20 or 22 electrons, moving the molecule between Hückel aromaticity and other regimes that affect ring currents and magnetic properties.
-
Charge Distribution and Frontier Orbitals
Meso-substitution can tune the electron density distribution around the macrocycle. Electron-donating groups can push electron density toward the ring center, lowering the energy of the lowest unoccupied molecular orbital (LUMO). Electron-withdrawing groups, conversely, stabilize the highest occupied molecular orbital (HOMO) and shift redox potentials toward more positive values, altering both the electrochemical profile and the Q- and B-band positions in the UV-vis spectrum.
3. Spectroscopic Consequences
-
UV-Vis Absorption (Q and B Bands)
The principal absorption features of phthalocyanines lie in the visible (Q-band, typically 600-700 nm) and near-UV (B-band, typically 300-400 nm).
Substitution that expands the ring conjugation or introduces strong electron-donating/withdrawing groups can:
- Shift the Q-band to longer wavelengths (bathochromic shift), reaching into the near-IR, which is highly desirable for optoelectronic and photodynamic applications.
- Alter relative intensities of these bands and merge or split them, reflecting changes in orbital symmetries and energies.
-
NMR Spectroscopy and Aromatic Ring Currents
Modifications to the π-electron count and distribution are directly observed in 1H and 13C NMR chemical shifts.
More highly conjugated (or expanded) aromatic rings exhibit distinct downfield shifts for protons located within induced ring currents, while any partial loss of aromaticity or incorporation of antiaromatic segments can cause atypical shielding/deshielding patterns.
4. Reactivity and Coordination Chemistry
Because phthalocyanines are often used as redox catalysts or sensors, the meso-nitrogen modifications can significantly influence reactivity:
- Electron-rich meso substituents facilitate nucleophilic or electrophilic attacks at the ring periphery, enabling site-selective functionalizations that are otherwise difficult.
(... shortened for the purposes of this figure)
Sample grading rubric
Analysis of Traditional Phthalocyanine Synthesis Limitations (1 point)
0.5 point: Mentions limitations of traditional methods but without specific focus on meso-position control challenges.
0.0 point: Fails to identify key limitations of traditional synthetic approaches or provides incorrect analysis.
Thiolate-Mediated Tetramerization Process (1 point)
1.0 point: Correctly describes the thiolate-mediated reductive tetramerization and explains how counter cation size (K+ or Cs+ vs. Na+) affects selectivity between tetramer formation and direct macrocyclization.
0.5 point: Mentions thiolate-mediated tetramerization but without explaining factors controlling selectivity.
נכשל 0.0 point: Incorrectly describes the oligomerization process or omits critical details about selectivity control.Analysis of NMR Spectroscopic Features (1 point)
1.0 point: Correctly explains that upfield shifts in the 16π system indicate paratropic ring current (antiaromaticity), contrasts this with the broad signals in 17π systems due to paramagnetism, and connects these observations to the underlying electronic structures.
עבר בהצלחה 0.5 point: Identifies basic NMR patterns but without clear connection to ring currents or electronic structure.0.0 point: Incorrectly interprets NMR data or fails to connect spectral features to electronic properties.
Electrochemical Property Analysis (1 point)
1.0 point: Correctly explains that the 16π system shows two reversible reductions reflecting conversion to 17π radical and 18π aromatic states, while 17π systems show narrow redox gaps due to facile interconversion between 16π, 17π, and 18π states, and relates these patterns to the underlying electronic structures.
עבר בהצלחה 0.5 point: Describes redox patterns without clearly connecting them to specific electronic state changes.0.0 point: Incorrectly interprets electrochemical data or fails to connect redox behavior to electronic properties.
Analysis of Absorption Spectroscopy (1 point)
1.0 point: Correctly explains that the 16π system shows weak/broad absorption due to symmetry-forbidden HOMO-LUMO transitions in antiaromatic systems, while 17π systems show Q-like bands plus NIR-II absorptions characteristic of radical species, and contrasts these with typical phthalocyanine spectral features.
עבר בהצלחה 0.5 point: Describes absorption features but provides limited connection to underlying electronic structures.0.0 point: Incorrectly interprets absorption data or fails to relate spectral features to electronic properties.
Reactivity Analysis of Antiaromatic System (1 point)
1.0 point: Correctly explains the high reactivity of the 16π system toward nucleophiles, details specific reactions with hydroxide (ring opening) and hydrazine (ring expansion), and explains how these transformations relieve antiaromatic destabilization.
0.5 point: Mentions reactivity but provides limited analysis of specific transformations or the driving forces behind them.
נכשל 0.0 point: Incorrectly analyzes reactivity patterns or fails to connect them to the antiaromatic character of the 16π system.(... and more)
כל משימה במערך המחקר מקבלת ציון לפי מחוון של 10 נקודות, שיכול לשמש מומחה או מודל בודק. כדי להרחיב את יכולתנו להעריך מודלים, אנחנו משתמשים במודל אחר למתן ציונים לתשובות.
הערכנו כמה מודלי חזית — GPT‑5.2, Claude Opus 4.5, Gemini 3 Pro, GPT‑4o, OpenAI o4-mini ו-OpenAI o3 — במבחנים FrontierScience-Olympiad ו-FrontierScience-Research. כל מודלי ה-reasoning נבדקו ברמת מאמץ reasoning של ״high״, למעט GPT‑5.2, שנבדק ברמת ״xhigh״. בהערכות הראשוניות שלנו, GPT‑5.2 הוא המודל שלנו בעל הביצועים הטובים ביותר במבחני FrontierScience-Olympiad (עם ציון של 77%) ומחקר (עם ציון של 25%), לפני מודלי חזית אחרים. הביצועים של Gemini 3 Pro במערך האולימפיאדה דומים לאלה של GPT‑5.2, עם ציון של 76%.
ראינו התקדמות משמעותית בפתרון שאלות ברמת מומחה, במיוחד במשימות פתוחות בסגנון מחקרי. עדיין יש מקום לשיפור: ניתוח התמלילים לאיתור כשלים הראה שמודלי חזית עשו לעיתים טעויות ב-reasoning, בלוגיקה ובחישובים, לא הבינו מושגים מדעיים מתחומי התמחות צרים והציגו אי-דיוקים עובדתיים.
אנחנו משווים את רמות הדיוק של כמה מודלי חזית. GPT‑5.2 הוא המודל שלנו בעל הביצועים הטובים ביותר במבחן FrontierScience-Research ובמערך האולימפיאדה.
אנחנו משווים את רמות הדיוק של GPT‑5.2 ושל o3 ברמות שונות של מאמץ reasoning. זמן חשיבה ארוך יותר מוביל לדיוק משופר.
אף ש-FrontierScience הוא צעד קדימה ברמת הקושי של מבחני הערכה מדעיים, עדיין יש לו מגבלות רבות. FrontierScience מורכב משאלות שבהן הבעיה מוגדרת באופן תחום, ומתמקד בהערכת התשובה הסופית (אולימפיאדה) או בהערכת ה-reasoning הנדרש להשלמת משימת מחקר (מחקר). בנוסף, שימוש במחוונים מרובי רכיבים למשימות ארוכות יותר הוא פחות אובייקטיבי מבדיקת התשובה הסופית.
FrontierScience מספק תמונת מצב מפורטת יותר של ה-reasoning של מודלים בשאלות קשות שחיברו מומחים, אך לא תמונה מלאה של העשייה המדעית בפועל. בפרט, הוא אינו מעריך חלק משמעותי מהמחקר המדעי: כיצד מודלים מעלים השערות חדשות באמת, או פועלים עם מידע מסוגים שונים, לרבות נתוני וידאו ומערכות ניסוי ממשיות בעולם הפיזי.
במבט קדימה, אנחנו מצפים שההתקדמות ב-reasoning מדעי תגיע הן ממערכות reasoning כלליות טובות יותר והן ממאמץ ממוקד לשיפור היכולות המדעיות. FrontierScience הוא כלי אחד מני רבים. ככל שהמודלים ישתפרו, אנחנו מתכננים להמשיך לשכלל את המבחן, להרחיב אותו לתחומים חדשים ולשלב לצידו יותר הערכות בתנאי העולם האמיתי, שיבחנו מה המערכות האלה מאפשרות למדענים לעשות בפועל. מבחני הערכה כמו FrontierScience עוזרים לנו להבין את החולשות של מערכות הבינה המלאכותית של היום, כדי למקד את עבודתנו בהפיכת המודלים לשותפים אמינים בתגליות מדעיות.
