Com Ultrafast va reduir d'hores a minuts la investigació d'incidents a OpenAI

Aquest article forma part de la nostra sèrie d'exemples interns sobre com OpenAI utilitza la seva pròpia tecnologia i les seves API. Aquestes eines s'utilitzen internament a OpenAI i les compartim aquí per il·lustrar com la IA d'avantguarda dona suport a diversos casos d'ús dels nostres equips.

Ultrafast és un mode d'alta velocitat del Codex que s'ha convertit en l'opció habitual dels enginyers d'OpenAI per respondre als incidents. Quan alguna cosa falla, sovint els enginyers no es poden permetre esperar minuts per obtenir una resposta mentre el problema s'agreuja. Amb Ultrafast, poden investigar diverses causes possibles alhora i obtenir respostes sense dividir l'atenció.

Aaron Friel, membre de l'equip tècnic d'OpenAI, sol ser qui coordina la resposta als incidents. Crea un canal de l'Slack per respondre a l'incident i tot seguit li indica el problema al Codex i li demana que en faci el seguiment, l'investigui i respongui a les preguntes que vagin sorgint. "En qualsevol incident, hi sol haver molts punts del procés on alguna cosa pot haver fallat, i trobar l'agulla correcta al paller correcte és, de fet, la tasca principal de les persones d'aquell canal", explica. "Amb Ultrafast, bàsicament puc buscar en tots aquests pallers alhora i respondre als incidents molt més de pressa."

AJ Trbojevic, membre de l'equip tècnic i arquitecte de seguretat de centres de dades, explica que, quan investigaven problemes de seguretat, abans trigaven una o dues hores a reunir les dades estructurades i no estructurades, a normalitzar-les i a aportar el context necessari per prendre una decisió. "Ara tot això es fa en 10 o 15 minuts", diu. "I de vegades, gairebé en temps real".

Adam Perry i Sayan Sisodiya treballen a l'equip responsable del nucli de l'agent, on desenvolupen el codi que permet que el Codex dugui a terme accions, executi ordres i utilitzi eines. Ultrafast ha canviat la seva manera de treballar durant els incidents de seguretat. "Abans li demanava a Codex que investigués alguna cosa i, alhora, també la investigava jo, perquè sabia que no seria prou ràpid per limitar-me a esperar", explica l'Adam. "Ara, amb Ultrafast, el Codex és prou ràpid perquè pugui mantenir la concentració en comptes de dividir l'atenció".

En Sayan valora que Ultrafast li permeti obtenir respostes immediates de diverses fonts de dades: "A banda de revisar els registres durant un incident, faig servir el Codex per cercar a l'Slack si hi ha referències a canvis sospitosos o persones que parlin de símptomes semblants en altres converses", explica.

Jeff Niu, un altre membre de l'equip tècnic, explica que, si la IA triga més de 30 segons a trobar una resposta, es posa a consultar l'Slack o a parlar amb un company. Però amb Ultrafast, ara la majoria de les seves tasques es resolen per sota d'aquest llindar. Abans li feia una pregunta al Codex, es posava a fer una altra cosa mentre aquest rumiava i, quan hi tornava, ja havia perdut el fil. Ara la conversa té lloc en temps real, cosa que l'ajuda a mantenir la concentració en la tasca que té entre mans.

Ultrafast també anima en Jeff a emprendre refactoritzacions de més abast, perquè refer el codi existent requereix menys temps. "Ara és molt més fàcil que mai reduir el deute tècnic", explica. "El codi és barat i ara es produeix molt de pressa. Una refactorització que abans costava molt ara es fa gairebé a l'instant".

L'Adam manté un fil de conversa obert amb el Codex, a qui anomena el seu cap de gabinet. Cada matí li diu quines reunions té previstes i quins missatges es pot haver descuidat de respondre. "Ja ha consultat totes les dades per escriure'n el resum, de manera que, quan li faig una altra pregunta, no s'ha d'aturar a buscar-ne més", explica. "Puc continuar fent preguntes en la mateixa conversa, com si parlés amb un cap de gabinet de debò."

En Sayan utilitza el Codex per fer tasques manuals feixugues al navegador, com ara emplenar formularis, una cosa que abans evitava perquè era massa lenta. "Obria un navegador, es quedava rumiant cinc segons, feia clic en alguna cosa i es tornava a aturar", explica. Amb les millores en l'ús de l'ordinador introduïdes pels últims models, ara se sent més còmode deixant-li aquesta feina al Codex. "Ara no tinc cap problema a deixar que faci clic pel navegador, i és prou ràpid per no fer-me perdre temps mentre espero que treballi per mi".

Tant en la resposta a incidents com en la planificació diària i la refactorització, Ultrafast permet a l'equip tècnic d'OpenAI treballar amb el Codex al ritme de les seves preguntes. Poden aprofundir en una resposta, provar un altre enfocament i continuar treballant sense perdre el fil. Aquesta espera més curta també els anima a assumir tasques que abans deixaven de banda, des d'una refactorització ajornada fins a una tasca rutinària que finalment val la pena delegar.