コード生成モデルの経済的影響を評価するための研究課題

OpenAI は、コード生成モデルの経済的影響を評価する研究プログラムを開発しており、外部との共同研究を募っています。コード上で学習させた大規模言語モデル（LLM）の機能が急速に進歩したことで、個人や企業、社会に対する経済的影響を研究することの重要性がますます高まっています。OpenAI が GitHub で公開されている数十億行のコードで GPT‑3 をファインチューニングして開発した LLM である Codex は、評価問題のサンプルに対して28.8%の確率で機能的に正しいコードを生成することが示されています（Chen 氏他、2021）。これはコーディングの将来や、それに依存する産業の経済にとって重要な意味を持つかもしれません。本文では、立法や企業、一般市民が関心を寄せる経済的要因に対する Codex の影響を評価するための研究事項を提示します。研究事項のケースを作成するため、コード生成モデルのソフトウェア開発への潜在的に広範な適用可能性、モデルの能力が進歩するにつれて他の LLM が大きな社会経済的影響を生み出す可能性、将来のモデルの経済的影響に関する研究に適用できそうな証拠を生成し、方法論を確立するために Codex を使用することの価値を強調します。学術および方針に関する研究においては、コード生成モデルやその他の LLM の研究に焦点を当て、その経済的影響の証拠を3つの重要な分野、すなわち展開の方針、AI システムの設計、公共の方針における意思決定に役立てることを提案します。この研究の指針となるよう、経済的影響の領域において、当社が Codex を使用して調査しようとしている6つの優先成果分野を概説します。それは生産性、雇用、技能開発、企業間競争、消費者価格、経済格差です。各分野について、人工知能がそれぞれの結果に与える影響に関する過去の文献を概説し、上記の3つの意思決定分野への重要なインプットであると考えられる質問を記述し、Codex を使って実施できる研究の例を示します。この初期の研究事項を基礎とする研究を促進するべく「Call for Expressions of Interest⁠」を発表します。これはコード生成モデルなどの LLM の経済的影響をより明確に測定するために OpenAI の研究者や顧客と協力する外部の研究者を募るものです。