Liwati menyang isi utama
OpenAI

3 Maret 2022

Publikasi

Agenda riset kanggo menilai dampak ekonomi model generasi kode

Agenda Riset Kanggo Menilai Dampak Ekonomi Model Generasi Kode
Lagi dimuat…

Abstrak

OpenAI lagi ngembangake program riset kanggo menilai dampak ekonomi model generasi kode lan ngajak kolaborasi karo peneliti eksternal. Kemajuan cepet ing kapabilitas large language models (LLMs) sing dilatih nganggo kode ndadekake saya penting kanggo nyinaoni dampak ekonomine marang individu, perusahaan, lan masyarakat. Codex – LLM sing dikembangake OpenAI kanthi fine-tuning GPT‑3 nganggo miliaran baris kode sing kasedhiya kanggo umum saka GitHub – wis kabukten bisa ngasilake kode sing bener sacara fungsional 28.8% wektu ing conto masalah evaluasi (Chen et al. 2021). Iki bisa nduweni implikasi penting kanggo masa depan coding lan ekonomi industri sing gumantung marang iku. Ing dokumen iki, kita njlentrehake agenda riset kanggo menilai efek Codex marang faktor ekonomi sing dadi kapentingan para pembuat kebijakan, perusahaan, lan publik. Kita nerangake kenapa agenda riset iki penting kanthi nyorot jembaré potensi panggunaan model generasi kode kanggo pangembangan perangkat lunak, potensi LLM liyane kanggo nggawe dampak sosial lan ekonomi sing signifikan nalika kapabilitas model maju, lan nilai nggunakke Codex kanggo ngasilake bukti lan netepake metodologi sing bisa ditrapake kanggo riset babagan dampak ekonomi model ing masa depan. Kita ngusulake supaya riset akademik lan kebijakan fokus nyinaoni model generasi kode lan LLM liyane supaya bukti babagan dampak ekonomine bisa digunakake kanggo nuntun pengambilan keputusan ing telung area kunci: kebijakan deployment, desain sistem AI, lan kebijakan publik. Kanggo mbantu nuntun riset iki, kita njlentrehake enem area asil prioritas ing ranah dampak ekonomi sing arep ditliti nganggo Codex: Produktivitas, Ketenagakerjaan, Pengembangan Keterampilan, Persaingan antarperusahaan, Harga Konsumen, lan Ketimpangan Ekonomi. Kanggo saben area, kita mbahas kanthi ringkes literatur sadurunge babagan dampak kecerdasan buatan marang saben asil iki, njlèntrèhaké pitakon sing miturut kita dadi masukan kunci kanggo telung area pengambilan keputusan sing kasebut ing ndhuwur, lan menehi conto riset sing bisa ditindakake nganggo Codex. Kanggo nyengkuyung karya sing mbangun saka agenda riset awal iki, kita ngumumake Ajakan kanggo Nyatakan Minat saka peneliti eksternal kanggo kolaborasi karo peneliti lan pelanggan OpenAI supaya luwih apik ngukur dampak ekonomi model generasi kode lan LLM liyane.

Penulis, kontribusi setara

Sam Manning (OpenResearch)Pamela Mishkin (OpenAI)

Penulis

Gillian Hadfield (University of Toronto)Tyna Eloundou (OpenAI)Emily Eisner (University of California, Berkeley)