Un plan de investigación para evaluar los efectos económicos de los modelos que generan código

OpenAI está desarrollando un programa de investigación para evaluar los efectos económicos de los modelos que generan código, y está invitando a colaborar a investigadores externos. Debido a los rápidos avances en las capacidades de los grandes modelos de lenguaje (LLM) entrenados con código, cada vez es más importante estudiar sus efectos económicos en las personas, las empresas y la sociedad. Codex, un LLM desarrollado por OpenAI mediante el ajuste de precisión de GPT‑3 en miles de millones de líneas de código disponibles para el público de GitHub, ha demostrado generar código funcionalmente correcto el 28,8 % del tiempo en una muestra de problemas de evaluación (Chen et al. 2021). Esto puede tener implicancias importantes para el futuro de la codificación y la economía de los sectores que dependen de ella. En este documento, presentamos un plan de investigación para evaluar los efectos de Codex sobre los factores económicos de interés para los formuladores de políticas, las empresas y el público. Fundamentamos este plan de investigación al destacar la amplia aplicabilidad que pueden tener los modelos que generan código para el desarrollo de software, la capacidad para que otros LLM ejerzan un impacto social y económico significativo a medida que avanzan las capacidades del modelo, y el valor de usar Codex para generar evidencia y establecer metodologías que se puedan aplicar a la investigación de los efectos económicos de modelos futuros. Proponemos que la investigación académica y de las políticas se centre en estudiar los modelos que generan código y otros LLM, de modo que la evidencia sobre sus efectos económicos se pueda usar para respaldar la toma de decisiones en tres ámbitos clave: política de implementación, diseño del sistema de IA y política pública. Como guía para esta investigación, identificamos seis áreas prioritarias de resultados dentro del ámbito de los efectos económicos que queremos estudiar con Codex: productividad, empleo, desarrollo de habilidades, competencia interempresarial, precios al consumidor y desigualdad económica. Para cada área, analizamos brevemente la bibliografía anterior del impacto de la inteligencia artificial sobre cada uno de estos resultados, describimos las preguntas que consideramos aportes clave para las tres áreas de toma de decisiones mencionadas anteriormente, y damos ejemplos de las investigaciones que se pueden realizar con Codex. Para catalizar el trabajo que se basa en este plan de investigación inicial, anunciamos una convocatoria de expresión de interés⁠ de investigadores externos para colaborar con investigadores de OpenAI y clientes en el esfuerzo de medir mejor los efectos económicos de los modelos que generan código y otros LLM.