Jak Ultrafast skrócił badanie incydentów w OpenAI z godzin do minut

Ten artykuł należy do serii, w której pokazujemy, jak OpenAI korzysta z własnych technologii i interfejsów API. Opisane narzędzia są używane wewnętrznie w OpenAI i służą tu jako przykłady tego, jak pionierska AI wspiera pracę naszych zespołów.

Ultrafast to bardzo szybki tryb pracy w Codex, który dla inżynierów OpenAI stał się domyślnym wyborem przy reagowaniu na incydenty. Kiedy coś się psuje, inżynierowie często nie mogą czekać kilku minut na odpowiedź, podczas gdy problem narasta. Dzięki Ultrafast mogą badać wiele potencjalnych przyczyn naraz i uzyskiwać odpowiedzi bez dzielenia uwagi między różne zadania.

Aaron Friel, członek zespołu technicznego OpenAI, zwykle koordynuje działania związane z incydentem. Tworzy na Slacku kanał do reagowania na incydent, a następnie kieruje uwagę Codex na problem, prosząc o monitorowanie sytuacji, badanie przyczyn i odpowiadanie na pojawiające się pytania. „Przy każdym incydencie jest zwykle wiele etapów, na których coś mogło pójść nie tak. Znalezienie właściwej igły we właściwym stogu siana to tak naprawdę główne zadanie osób na tym kanale” — mówi. „Dzięki Ultrafast mogę przeszukiwać wszystkie te stogi jednocześnie i znacznie szybciej reagować na incydenty”.

AJ Trbojevic, członek zespołu technicznego i architekt bezpieczeństwa centrów danych, mówi, że podczas badania problemów z bezpieczeństwem zebranie danych ustrukturyzowanych i nieustrukturyzowanych, ich ujednolicenie oraz uzyskanie kontekstu potrzebnego do podjęcia decyzji zajmowało wcześniej godzinę lub dwie. „Teraz zajmuje to od 10 do 15 minut” — mówi. „A czasem odbywa się niemal w czasie rzeczywistym”.

Adam Perry i Sayan Sisodiya pracują w zespole odpowiedzialnym za podstawowe funkcje agenta. Tworzą kod, dzięki któremu Codex może podejmować działania, wykonywać polecenia i korzystać z narzędzi. Ultrafast zmienił ich sposób pracy podczas występowania incydentów bezpieczeństwa. „Wcześniej prosiłem Codex o zbadanie czegoś, a potem równolegle sprawdzałem to sam, bo wiedziałem, że nie odpowie na tyle szybko, by warto było po prostu czekać” — mówi Adam. „Teraz, z Ultrafast, Codex działa na tyle szybko, że mogę skupić się na jednej rzeczy, zamiast dzielić uwagę”.

Sayan ceni to, że Ultrafast pozwala mu natychmiast uzyskiwać odpowiedzi z wielu źródeł danych: „Podczas incydentu używam Codex nie tylko do przeszukiwania logów, ale też Slacka. Sprawdzam, czy są tam wzmianki o zmianach, które mogły spowodować problem, albo czy ktoś na innych kanałach pisze o podobnych objawach” — mówi.

Jeff Niu, również członek zespołu technicznego, mówi, że jeśli znalezienie odpowiedzi z pomocą AI trwa dłużej niż 30 sekund, zagląda na Slacka lub rozmawia ze współpracownikiem. Jednak dzięki Ultrafast w większości zadań czas oczekiwania jest teraz krótszy. Wcześniej zadawał Codex pytanie, zajmował się czymś innym na czas namysłu modelu, a gdy wracał, gubił już wątek. Teraz rozmowa toczy się w czasie rzeczywistym, co pomaga mu skupić się na bieżącym zadaniu.

Dzięki Ultrafast Jeff chętniej podejmuje się też dużych refaktoryzacji, bo przebudowa istniejącego kodu zajmuje mniej czasu. „Spłacanie długu technicznego jest teraz znacznie łatwiejsze niż kiedykolwiek wcześniej” — mówi. „Tworzenie kodu jest tanie, a teraz także bardzo szybkie. Refaktoryzacja, która kiedyś wymagała dużych nakładów, odbywa się niemal natychmiast”.

Adam prowadzi stały wątek w Codex, który nazywa swoim szefem sztabu. Co rano dowiaduje się z niego, jakie ma spotkania i na które wiadomości mógł zapomnieć odpowiedzieć. „Codex przejrzał już wszystkie dane, żeby napisać to podsumowanie, więc gdy dopytuję o szczegóły, nie musi dopiero szukać kolejnych informacji” — mówi. „Mogę po prostu zadawać kolejne pytania w tej samej rozmowie, tak jak prawdziwemu szefowi sztabu”.

Sayan zleca Codex żmudne zadania w przeglądarce, takie jak wypełnianie formularzy — wcześniej tego unikał, bo trwało to zbyt długo. „Codex otwierał przeglądarkę, myślał przez pięć sekund, klikał coś i znowu czekał” — mówi. Odkąd najnowsze modele sprawniej obsługują komputer, chętniej powierza te zadania Codex. „Teraz bez obaw pozwalam mu klikać w przeglądarce. Działa na tyle szybko, że nie tracę czasu, zlecając mu to zamiast robić samemu”.

Od reagowania na incydenty, przez planowanie dnia, po refaktoryzację — Ultrafast pozwala zespołowi technicznemu OpenAI pracować z Codex w tempie, w jakim pojawiają się kolejne pytania. Mogą dopytać o otrzymaną odpowiedź, wypróbować inne podejście i kontynuować pracę bez gubienia wątku. Krótszy czas oczekiwania sprawia też, że chętniej podejmują się zadań — od odkładanej wcześniej refaktoryzacji po rutynową pracę, którą wreszcie opłaca się delegować.