Programa de investigación para la evaluación de las repercusiones económicas de los modelos de generación de código

OpenAI está desarrollando un programa de investigación para evaluar las repercusiones económicas de los modelos de generación de código y pide la colaboración de investigadores externos. Los rápidos avances en las funciones de los grandes modelos de lenguaje (LLM) entrenados en código han hecho que sea de vital importancia estudiar sus repercusiones económicas en los individuos, las empresas y la sociedad en general. Se ha demostrado que Codex, un LLM desarrollado por OpenAI mediante la optimización de GPT‑3 en miles de millones de líneas de código disponibles para el público en GitHub, genera código funcionalmente correcto el 28,8 % de las veces en una muestra de problemas de evaluación (Chen et al. 2021). Esto puede tener importantes implicaciones para el futuro de la programación y la economía de los sectores que dependen de ella. En este documento, exponemos un programa de investigación para evaluar los efectos de Codex en factores económicos de interés para los responsables políticos, las empresas y el público general. Para justificar esta agenda de investigación, destacamos la amplia aplicabilidad potencial de los modelos de generación de código en el desarrollo de software; el potencial de otros LLM para crear un impacto social y económico significativo a medida que avanzan las funciones del modelo; y el valor de usar Codex para generar pruebas y establecer metodologías que puedan aplicarse a la investigación sobre las repercusiones económicas de los futuros modelos. Proponemos que la investigación académica y de las políticas se centre en el estudio de los modelos de generación de código y otros LLM para que las pruebas sobre sus repercusiones económicas puedan usarse para la toma de decisiones informadas en tres áreas clave: política de despliegue, diseño de sistemas de IA y políticas públicas. Hemos esbozado seis áreas de resultados prioritarias dentro del ámbito de las repercusiones económicas y nuestra intención es usarlas para estudiar Codex y ayudar a guiar esta investigación: productividad, empleo, desarrollo de habilidades, competencia entre empresas, precios al consumidor y desigualdad económica. Para cada área, debatimos brevemente las publicaciones anteriores sobre las repercusiones de la inteligencia artificial en cada uno de estos resultados, describimos las cuestiones que consideramos aportaciones clave para la toma de decisiones en las tres áreas que mencionamos anteriormente y ofrecemos ejemplos de investigación que se pueden llevar a cabo con Codex. Para fomentar el trabajo que se basa en este programa de investigación inicial, anunciamos una convocatoria de manifestaciones de interés⁠ para investigadores externos que quieran colaborar con los investigadores y los clientes de OpenAI con el propósito de medir mejor las repercusiones económicas de los modelos de generación de código y otros LLM.