การวัดประสิทธิภาพของโมเดลของเราในงานที่เกิดขึ้นจริง

ภารกิจของเราคือการทำให้ระบบปัญญาประดิษฐ์ทั่วไปนำประโยชน์มาสู่มนุษยชาติ ในฐานะส่วนหนึ่งของภารกิจของเรา เราต้องการสื่อสารความก้าวหน้าอย่างโปร่งใสเกี่ยวกับวิธีที่โมเดล AI สามารถช่วยเหลือผู้คนในโลกแห่งความเป็นจริงได้ นั่นคือเหตุผลที่เราขอแนะนำ GDPval: การประเมินใหม่ที่ออกแบบมาเพื่อช่วยให้เราติดตามว่าโมเดลของเราและของผู้อื่นทำงานได้ดีเพียงใดในงานที่มีคุณค่าทางเศรษฐกิจในโลกแห่งความเป็นจริง เราเรียกการประเมินนี้ว่า GDPval เพราะเราเริ่มต้นด้วยแนวคิดของผลิตภัณฑ์มวลรวมภายในประเทศ (GDP) ซึ่งเป็นตัวชี้วัดทางเศรษฐกิจที่สำคัญ และดึงงานจากอาชีพหลักในอุตสาหกรรมที่มีส่วนร่วมมากที่สุดต่อ GDP

ผู้คนมักคาดเดาเกี่ยวกับผลกระทบที่กว้างขึ้นของ AI ต่อสังคม แต่หนทางที่ชัดเจนที่สุดในการเข้าใจศักยภาพของ AI คือการดูว่าโมเดลสามารถทำอะไรได้บ้างในปัจจุบัน ประวัติแสดงให้เห็นว่าเทคโนโลยีหลักๆ ตั้งแต่อินเทอร์เน็ตไปจนถึงสมาร์ทโฟน ใช้เวลากว่าทศวรรษกว่าจะเปลี่ยนจากการประดิษฐ์ไปสู่การยอมรับอย่างแพร่หลาย การประเมินเช่น GDPval ช่วยให้บทสนทนาเกี่ยวกับการปรับปรุง AI ในอนาคตมีพื้นฐานจากหลักฐานแทนที่จะเป็นการคาดเดา และสามารถช่วยให้เราติดตามการพัฒนาโมเดลได้ตามกาลเวลา

การประเมิน AI ก่อนหน้านี้ เช่น การทดสอบทางวิชาการที่ท้าทายและการแข่งขันการเขียนโค้ดที่มีการแข่งขันสูง มีความสำคัญในการผลักดันขีดจำกัดของความสามารถในการให้เหตุผลของโมเดล แต่บ่อยครั้งที่ไม่สามารถตอบสนองต่อประเภทของงานที่หลายคนจัดการในชีวิตประจำวันได้

เพื่อเชื่อมช่องว่างนี้ เราได้พัฒนาการประเมินที่วัดความสามารถที่มีความสมจริงและมีความสำคัญทางเศรษฐกิจมากขึ้น การพัฒนานี้ได้เคลื่อนจากเกณฑ์มาตรฐานทางวิชาการแบบคลาสสิก เช่น MMLU (คำถามแบบข้อสอบในหลายสิบวิชา) ไปสู่การประเมินที่ประยุกต์มากขึ้น เช่น SWE-Bench (งานแก้ไขข้อบกพร่องทางวิศวกรรมซอฟต์แวร์), MLE-Bench (งานวิศวกรรมการเรียนรู้ของเครื่อง เช่น การฝึกสอนโมเดลและการวิเคราะห์), และ Paper-Bench (การให้เหตุผลทางวิทยาศาสตร์และการวิจารณ์งานวิจัย), และล่าสุดไปสู่การประเมินตามตลาด เช่น SWE-Lancer (โครงการวิศวกรรมซอฟต์แวร์ฟรีแลนซ์ที่อิงจากการจ่ายเงินจริง)

GDPval คือขั้นตอนถัดไปในความก้าวหน้านั้น โดยประเมินประสิทธิภาพของโมเดลในงานที่มาจากการทำงานที่ใช้ความรู้จริงของมืออาชีพที่มีประสบการณ์ในหลากหลายอาชีพและภาคส่วนต่างๆ เพื่อให้เห็นภาพชัดเจนขึ้นว่าโมเดลทำงานได้ดีเพียงใดในงานที่มีคุณค่าทางเศรษฐกิจ การประเมินโมเดลในงานอาชีพที่สมจริงช่วยให้เราเข้าใจไม่เพียงแค่ว่าพวกมันทำงานได้ดีเพียงใดในห้องปฏิบัติการ แต่ยังรวมถึงวิธีที่พวกมันอาจสนับสนุนผู้คนในงานที่ทำในทุกๆ วัน 

GDPval ซึ่งเป็นเวอร์ชันแรกของการประเมินนี้โดยครอบคลุม 44 อาชีพที่เลือกจาก 9 อุตสาหกรรมชั้นนำที่มีส่วนร่วมต่อ GDP ของสหรัฐอเมริกา ชุดเต็มของ GDPval ประกอบด้วยงานเฉพาะทาง 1,320 งาน (220 งานในชุดโอเพ่นซอร์สทองคำ) ซึ่งแต่ละงานถูกสร้างและตรวจสอบอย่างละเอียดโดยผู้เชี่ยวชาญที่มีประสบการณ์เฉลี่ยมากกว่า 14 ปีในสาขาเหล่านี้ ทุกงานอ้างอิงจากผลิตภัณฑ์งานจริง เช่น บันทึกทางกฎหมาย แผนผังวิศวกรรม บทสนทนาการสนับสนุนลูกค้า หรือบริการดูแลพยาบาล

GDPval มีความโดดเด่นทั้งในด้านความสมจริงและความหลากหลายของงานที่ได้รับการประเมิน ไม่เหมือนกับการประเมินอื่นๆ ที่เชื่อมโยงกับมูลค่าทางเศรษฐกิจซึ่งมุ่งเน้นไปที่โดเมนเฉพาะ (เช่น SWE-Lancer) GDPval ครอบคลุมงานและอาชีพหลากหลายประเภท และแตกต่างจากเกณฑ์มาตรฐานที่เกี่ยวข้องกับการสร้างงานในรูปแบบของการสอบหรือทดสอบทางวิชาการ (เช่น Humanity’s Last Exam หรือ MMLU) GDPval มุ่งเน้นไปที่งานที่อิงจากผลลัพธ์ที่เป็นชิ้นงานหรือผลิตภัณฑ์ที่มีอยู่ในปัจจุบันหรือเป็นชิ้นงานที่สร้างขึ้นในลักษณะเดียวกัน 

ต่างจากเกณฑ์มาตรฐานแบบดั้งเดิม งาน GDPval ไม่ใช่เพียงคำสั่งข้อความที่เรียบง่าย มาพร้อมกับไฟล์อ้างอิงและบริบท และสิ่งที่คาดว่าจะส่งมอบรวมถึงเอกสาร สไลด์ แผนภาพ สเปรดชีต และสื่อมัลติมีเดีย ความสมจริงนี้ทำให้ GDPval เป็นการทดสอบที่สมจริงยิ่งขึ้นว่าโมเดลอาจสนับสนุนผู้เชี่ยวชาญได้อย่างไร

GDPval เป็นขั้นตอนแรกที่ยังไม่สะท้อนถึงความซับซ้อนทั้งหมดของงานทางเศรษฐกิจหลายประการ แม้ว่าจะครอบคลุม 44 อาชีพและงานความรู้หลายร้อยงาน แต่ก็จำกัดอยู่ที่การประเมินแบบครั้งเดียว ดังนั้นจึงไม่สามารถจับกรณีที่โมเดลจำเป็นต้องสร้างบริบทหรือปรับปรุงผ่านหลายร่างได้ ในอนาคต เวอร์ชันใหม่จะขยายไปสู่เวิร์กโฟลว์ที่มีการโต้ตอบมากขึ้นและงานที่มีบริบทที่สมบูรณ์ยิ่งขึ้น เพื่อสะท้อนถึงความซับซ้อนของงานความรู้ในโลกแห่งความเป็นจริงได้ดียิ่งขึ้น (ดูเพิ่มเติมในส่วนข้อจำกัดของเราในด้านล่าง)

GDPval ครอบคลุมงานใน 9 อุตสาหกรรมและ 44 อาชีพ และในเวอร์ชันอนาคตจะขยายการครอบคลุมต่อไป อุตสาหกรรมเริ่มต้น 9 แห่งถูกเลือกตามที่มีส่วนร่วมมากกว่า 5% ต่อ GDP ของสหรัฐอเมริกา ตามข้อมูลจากธนาคารกลางแห่งเซนต์หลุยส์ จากนั้น เราได้เลือก 5 อาชีพในแต่ละอุตสาหกรรมที่มีส่วนร่วมมากที่สุดต่อค่าจ้างและค่าตอบแทนรวม และเป็นอาชีพที่เน้นการทำงานด้านความรู้ โดยใช้ข้อมูลค่าจ้างและการจ้างงานจากรายงานการจ้างงานตามอาชีพของ US Bureau of Labor Statistics (BLS) เดือนพฤษภาคม 2024⁠(เปิดในหน้าต่างใหม่) เพื่อพิจารณาว่าอาชีพเหล่านั้นเป็นงานที่เน้นความรู้เป็นหลักหรือไม่ เราใช้ข้อมูลงานจาก O*NET⁠(เปิดในหน้าต่างใหม่) ซึ่งเป็นฐานข้อมูลเกี่ยวกับอาชีพในสหรัฐอเมริกาที่ได้รับการสนับสนุนจากกระทรวงแรงงานของสหรัฐอเมริกา เราได้จำแนกว่างานแต่ละงานสำหรับแต่ละอาชีพใน O*NET ว่าเป็นงานที่ใช้ความรู้หรือเป็นงานที่ใช้แรงกาย/แรงงานทางกายภาพ (ซึ่งต้องการการกระทำในโลกแห่งความเป็นจริง) อาชีพจะถูกจัดประเภทโดยรวมว่าเป็น "งานที่ใช้ความรู้เป็นหลัก" หากอย่างน้อย 60% ของงานที่ประกอบด้วยถูกจัดประเภทว่าไม่เกี่ยวข้องกับงานทางกายภาพหรือแรงงานมือ เราเลือกเกณฑ์ 60% นี้เป็นจุดเริ่มต้นสำหรับเวอร์ชันแรกของ GDPval โดยมุ่งเน้นไปที่อาชีพที่ AI อาจมีผลกระทบสูงสุดต่อการเพิ่มประสิทธิภาพในโลกแห่งความเป็นจริง 

กระบวนการนี้ได้ผลลัพธ์เป็น 44 อาชีพสำหรับการรวม

สำหรับแต่ละอาชีพ เราได้ทำงานร่วมกับมืออาชีพที่มีประสบการณ์เพื่อสร้างงานที่เป็นตัวแทนซึ่งสะท้อนถึงการทำงานในแต่ละวันของพวกเขา ผู้เชี่ยวชาญเหล่านี้มีประสบการณ์เฉลี่ย 14 ปี และมีประวัติการก้าวหน้าอย่างโดดเด่น เราได้คัดเลือกผู้เชี่ยวชาญที่หลากหลายอย่างตั้งใจ เช่น ทนายความจากสาขาการปฏิบัติต่างๆ และบริษัทที่มีขนาดต่างกัน เพื่อเพิ่มความเป็นตัวแทนสูงสุด

แต่ละงานได้ผ่านกระบวนการตรวจสอบหลายขั้นตอนเพื่อให้แน่ใจว่าเป็นตัวแทนของงานจริง สามารถทำได้โดยมืออาชีพอื่น และชัดเจนสำหรับการประเมิน โดยเฉลี่ยแล้ว แต่ละงานได้รับการตรวจสอบจากผู้เชี่ยวชาญ 5 รอบ รวมถึงการตรวจสอบจากผู้เขียนงานคนอื่นๆ ผู้ตรวจสอบอาชีพเพิ่มเติม และการตรวจสอบโดยใช้โมเดล 

ชุดข้อมูลที่ได้ประกอบด้วยงานที่ผ่านการตรวจสอบอย่างสมบูรณ์ 30 งานต่ออาชีพ (ชุดเต็ม) โดยมี 5 งานต่ออาชีพในชุดทองที่เปิดเผยต่อสาธารณะของเรา ซึ่งเป็นพื้นฐานที่แข็งแกร่งสำหรับการประเมินประสิทธิภาพของโมเดลในการทำงานความรู้ในโลกแห่งความเป็นจริง

ในการประเมินประสิทธิภาพของโมเดลในงาน GDPval เราอาศัยผู้เชี่ยวชาญในการให้คะแนน—กลุ่มของมืออาชีพที่มีประสบการณ์จากอาชีพเดียวกันที่แสดงในชุดข้อมูล ผู้ประเมินเหล่านี้เปรียบเทียบผลงานที่สร้างโดยโมเดลกับผลงานที่สร้างโดยผู้เขียนงานโดยไม่ทราบว่าอันไหนสร้างโดย AI หรือมนุษย์ และให้คำวิจารณ์และการจัดอันดับ ผู้ประเมินจะจัดอันดับผลงานของมนุษย์และ AI และจำแนกผลงานของ AI แต่ละชิ้นว่า "ดีกว่า", "ดีเท่ากับ", หรือ "แย่กว่า" เมื่อเปรียบเทียบกัน

ผู้เขียนงานยังได้สร้างเกณฑ์การให้คะแนนโดยละเอียดสำหรับอาชีพของพวกเขา ซึ่งเพิ่มความสม่ำเสมอและความโปร่งใสให้กับกระบวนการให้คะแนน เรายังได้พัฒนา "ระบบให้คะแนนอัตโนมัติ" ซึ่งเป็นระบบ AI ที่ได้รับการฝึกฝนให้ประเมินว่าผู้เชี่ยวชาญมนุษย์จะตัดสินผลงานที่กำหนดไว้อย่างไร กล่าวอีกนัยหนึ่ง แทนที่จะต้องทำการตรวจสอบโดยผู้เชี่ยวชาญทุกครั้ง ระบบให้คะแนนอัตโนมัติสามารถทำนายได้อย่างรวดเร็วว่าผลลัพธ์ใดที่ผู้คนอาจจะชอบมากกว่า เรากำลังเปิดตัวเครื่องมือนี้ผ่าน evals.openai.com ในฐานะบริการวิจัยเชิงทดลอง แต่ยังไม่สามารถเชื่อถือได้เท่ากับผู้ให้คะแนนที่เป็นผู้เชี่ยวชาญ ดังนั้นเราจึงไม่ใช้มันเพื่อแทนที่พวกเขา 

เราพบว่าโมเดลแนวหน้าที่ดีที่สุดในปัจจุบันกำลังเข้าใกล้คุณภาพของงานที่ผลิตโดยผู้เชี่ยวชาญในอุตสาหกรรมแล้ว เพื่อทดสอบสิ่งนี้ เราได้ทำการประเมินแบบปิดตา โดยที่ผู้เชี่ยวชาญในอุตสาหกรรมได้เปรียบเทียบผลงานจากโมเดลชั้นนำหลายตัว ได้แก่ GPT‑4o, o4-mini, OpenAI o3, GPT‑5, Claude Opus 4.1, Gemini 2.5 Pro และ Grok 4 กับผลงานที่ผลิตโดยมนุษย์ ในงาน 220 งานในชุด GDPval gold เราได้บันทึกเมื่อผลลัพธ์ของโมเดลถูกประเมินว่าดีกว่า (“ชนะ”) หรือเทียบเท่ากับ (“เสมอ”) ผลงานจากผู้เชี่ยวชาญในอุตสาหกรรม ดังที่แสดงในแผนภูมิแท่งด้านล่าง Claude Opus 4.1 เป็นโมเดลที่มีประสิทธิภาพดีที่สุดในชุดนี้ โดยเฉพาะในด้านความสวยงาม (เช่น การจัดรูปแบบเอกสาร การจัดวางสไลด์) และ GPT‑5 โดดเด่นในด้านความแม่นยำ (เช่น การค้นหาความรู้เฉพาะโดเมน) เรายังเห็นความก้าวหน้าที่ชัดเจนเมื่อเวลาผ่านไปในงานเหล่านี้ ประสิทธิภาพเพิ่มขึ้นมากกว่าสองเท่าจาก GPT‑4o (เปิดตัวในฤดูใบไม้ผลิปี 2024) ไปยัง GPT‑5 (เปิดตัวในฤดูร้อนปี 2025) ตามแนวโน้มเชิงเส้นที่ชัดเจน

นอกจากนี้ เราพบว่าโมเดลล้ำสมัยสามารถทำงาน GDPval ได้เร็วกว่าและถูกกว่าผู้เชี่ยวชาญในอุตสาหกรรมประมาณ 100 เท่า อย่างไรก็ตาม ตัวเลขเหล่านี้สะท้อนถึงเวลาในการอนุมานของโมเดลและอัตราค่าบริการ API เท่านั้น และดังนั้นจึงไม่ครอบคลุมถึงการตรวจสอบโดยมนุษย์ การทำซ้ำ และขั้นตอนการบูรณาการที่จำเป็นในสภาพแวดล้อมการทำงานจริงเพื่อใช้โมเดลของเรา อย่างไรก็ตาม โดยเฉพาะในกลุ่มงานย่อยที่โมเดลมีความสามารถสูง เราคาดว่าการมอบหมายงานให้โมเดลก่อนที่จะลองกับมนุษย์จะช่วยประหยัดเวลาและเงิน

สุดท้ายนี้ เราได้ฝึกอบรมเวอร์ชันทดลองภายในของ GPT‑5 อย่างค่อยเป็นค่อยไปเพื่อประเมินว่าเราสามารถปรับปรุงประสิทธิภาพบน GDPval ได้หรือไม่ เราพบว่ากระบวนการนี้ช่วยปรับปรุงประสิทธิภาพ สร้างเส้นทางสำหรับการปรับปรุงเพิ่มเติมที่อาจเกิดขึ้น การทดลองที่ควบคุมอื่นๆ ย้อนกลับสิ่งนี้: การเพิ่มขนาดของโมเดล การส่งเสริมขั้นตอนการให้เหตุผลมากขึ้น และการให้บริบทของงานที่สมบูรณ์ยิ่งขึ้น ล้วนแล้วแต่ทำให้เกิดการพัฒนาที่วัดได้

คุณสามารถอ่านผลลัพธ์ทั้งหมดได้ในเอกสารของเรา เรายังเปิดตัวชุดย่อยทองของงาน GDPval และบริการการให้คะแนนสาธารณะเพื่อให้นักวิจัยคนอื่นสามารถต่อยอดจากงานนี้ได้

เมื่อ AI มีความสามารถมากขึ้น มันอาจจะทำให้เกิดการเปลี่ยนแปลงในตลาดงาน ผลลัพธ์เบื้องต้นของ GDPval แสดงให้เห็นว่าโมเดลสามารถทำงานที่ซ้ำซากและมีการกำหนดไว้อย่างดีได้เร็วกว่าและมีต้นทุนต่ำกว่าผู้เชี่ยวชาญ อย่างไรก็ตาม งานส่วนใหญ่มีมากกว่าการเป็นเพียงแค่การรวบรวมงานที่สามารถบันทึกลงไปได้ GDPval ชี้ให้เห็นว่า AI สามารถจัดการงานประจำได้ เพื่อให้ผู้คนมีเวลาในการทำงานที่ต้องใช้ความคิดสร้างสรรค์และการตัดสินใจมากขึ้น เมื่อ AI สนับสนุนการทำงานของมนุษย์ในลักษณะนี้ มันสามารถแปลเป็นการเติบโตทางเศรษฐกิจที่สำคัญได้ เป้าหมายของเราคือการทำให้ทุกคนอยู่บน "ลิฟต์ขึ้น" ของ AI โดยการทำให้เครื่องมือเหล่านี้เข้าถึงได้อย่างทั่วถึง สนับสนุนพนักงานผ่านการเปลี่ยนแปลง และสร้างระบบที่ให้รางวัลแก่การมีส่วนร่วมในวงกว้าง 

GDPval เป็นขั้นตอนแรกเริ่ม แม้ว่าจะครอบคลุม 44 อาชีพและงานหลายร้อยงาน แต่เรากำลังปรับปรุงแนวทางของเราอย่างต่อเนื่องเพื่อขยายขอบเขตของการทดสอบและทำให้ผลลัพธ์มีความหมายมากขึ้น เวอร์ชันปัจจุบันของการประเมินเป็นแบบครั้งเดียว ดังนั้นจึงไม่ครอบคลุมกรณีที่โมเดลจำเป็นต้องสร้างบริบทหรือปรับปรุงผ่านการร่างหลายครั้ง เช่น การแก้ไขเอกสารทางกฎหมายหลังจากได้รับข้อเสนอแนะจาก client หรือการทำซ้ำการวิเคราะห์ข้อมูลหลังจากพบความผิดปกติ นอกจากนี้ ในโลกแห่งความเป็นจริง งานไม่ได้ถูกกำหนดไว้อย่างชัดเจนเสมอไปด้วยคำสั่งและไฟล์อ้างอิง; ตัวอย่างเช่น ทนายความอาจต้องจัดการกับความคลุมเครือและพูดคุยกับ client ของพวกเขาก่อนที่จะตัดสินใจว่าสร้างบทสรุปทางกฎหมายเป็นวิธีที่เหมาะสมในการช่วยเหลือพวกเขา เราวางแผนที่จะขยาย GDPval เพื่อรวมอาชีพ อุตสาหกรรม และประเภทงานให้มากขึ้น พร้อมกับเพิ่มความสามารถในการโต้ตอบ และเพิ่มงานที่เกี่ยวข้องกับการจัดการความคลุมเครือ โดยมีเป้าหมายระยะยาวในการวัดความก้าวหน้าในงานความรู้ที่หลากหลายได้ดียิ่งขึ้น

• หากคุณเป็นผู้เชี่ยวชาญในอุตสาหกรรมที่สนใจจะร่วมให้ข้อมูลกับ GDPval โปรดแสดงความจำนงได้ที่นี่
• หากคุณเป็นลูกค้าที่ทำงานร่วมกับ OpenAI และต้องการมีส่วนร่วมในรอบต่อไปของ GDPval โปร แสดงความจำนงที่นี่

การมีส่วนร่วมของชุมชนเป็นสิ่งสำคัญ เรารู้สึกตื่นเต้นที่จะสร้าง GDPval ร่วมกับนักวิจัย ผู้ปฏิบัติงาน และองค์กรที่มีเป้าหมายร่วมกันในการทำให้ AGI มีประโยชน์มากขึ้นสำหรับผู้คนในที่ทำงาน