Una agenda de recerca per avaluar els impactes econòmics dels models de generació de codi

OpenAI està desenvolupant un programa de recerca per avaluar els impactes econòmics dels models de generació de codi i convida investigadors externs a col·laborar-hi. Els ràpids avenços en les capacitats dels models de llenguatge extensos (LLM) entrenats amb codi han fet que sigui cada cop més important estudiar-ne els impactes econòmics sobre les persones, les empreses i la societat. S'ha demostrat que Codex –un LLM desenvolupat per OpenAI mitjançant l'ajust fi de GPT‑3 amb milers de milions de línies de codi disponibles públicament de GitHub– genera codi funcionalment correcte el 28,8% de les vegades en una mostra de problemes d'avaluació (Chen et al. 2021). Això pot tenir implicacions importants per al futur de la programació i per a l'economia dels sectors que en depenen. En aquest document, presentem una agenda de recerca per avaluar els efectes de Codex sobre factors econòmics d'interès per als responsables polítics, les empreses i el públic. Defensem aquesta agenda de recerca destacant l'aplicabilitat potencialment àmplia dels models de generació de codi al desenvolupament de programari, el potencial d'altres LLM per crear un impacte social i econòmic significatiu a mesura que avancin les capacitats dels models, i el valor d'utilitzar Codex per generar evidència i establir metodologies que puguin ser aplicables a la recerca sobre els impactes econòmics dels models futurs. Proposem que la recerca acadèmica i de polítiques se centri en l'estudi dels models de generació de codi i d'altres LLM perquè l'evidència sobre els seus impactes econòmics es pugui utilitzar per informar la presa de decisions en tres àrees clau: política de desplegament, disseny de sistemes d'IA i polítiques públiques. Per ajudar a orientar aquesta recerca, descrivim sis àrees prioritàries de resultats dins de l'àmbit dels impactes econòmics que tenim la intenció d'estudiar amb Codex: Productivitat, Ocupació, Desenvolupament de competències, Competència entre empreses, Preus al consumidor i Desigualtat econòmica. Per a cada àrea, comentem breument la literatura prèvia sobre els impactes de la intel·ligència artificial en cadascun d'aquests resultats, descrivim preguntes que creiem que són aportacions clau per a les tres àrees de presa de decisions esmentades més amunt i proporcionem exemples de recerca que es podria dur a terme amb Codex. Per catalitzar treballs que parteixin d'aquesta agenda de recerca inicial, anunciem una convocatòria de manifestacions d'interès⁠ d'investigadors externs per col·laborar amb investigadors i clients d'OpenAI per mesurar millor els impactes econòmics dels models de generació de codi i d'altres LLM.