Jak systemy ocen rozwijają AI dla biznesu?

Ponad milion firm⁠ na całym świecie wykorzystuje sztuczną inteligencję do zwiększania wydajności i tworzenia wartości, jednak niektóre organizacje mają trudności z uzyskaniem oczekiwanych wyników. Z czego wynikają te problemy?

W OpenAI sami wykorzystujemy sztuczną inteligencję, aby osiągnąć nasze ambitne cele. Jednym z kluczowych narzędzi, z których korzystamy, są systemy ocen — czyli metody pomiaru i poprawy zdolności systemu sztucznej inteligencji do uzyskania określonych wyników. 

Podobnie jak w przypadku dokumentów wymagań produktowych systemy ocen sprawiają, że niekonkretne cele i abstrakcyjne pomysły stają się konkretne i jasne. Strategiczne stosowanie systemów ocen może sprawić, że produkt skierowany do klienta lub narzędzie wewnętrzne będą działać bardziej niezawodnie na dużą skalę, zmniejszy się liczba poważnych błędów, możliwa będzie ochrona organizacji przed ryzykiem strat oraz opracowana zostanie mierzalna ścieżka prowadzącą do wyższego zwrotu z inwestycji. 

Modele OpenAI to nasze produkty, więc nasi naukowcy stosują rygorystyczne pionierskie systemy ocen⁠(otwiera nowe okno) ¹ do weryfikowania jakości ich działania w różnych zastosowaniach. Systemy te pomagają nam szybciej dostarczać lepsze modele, jednak nie są w stanie określić wszelkich aspektów niezbędnych do zapewnienia, że model będzie działał w określonym przepływie pracy w danym środowisku biznesowym. Dlatego zespoły wewnętrzne stworzyły również dziesiątki kontekstowych systemów ocen pozwalających weryfikować wydajność w odniesieniu do określonego produktu lub wewnętrznego przepływu pracy. Z tego też względu liderzy biznesowi powinni nauczyć się tworzyć systemy kontekstowe dostosowane do potrzeb ich organizacji i środowiska operacyjnego. 

Niniejszy tekst stanowi wprowadzenie do zagadnienia dla liderów, którzy chcą zastosować systemy ocen w swoich organizacjach. Systemy kontekstowe opracowywane dla konkretnego przepływu pracy lub produktu w organizacji są dynamicznie rozwijającym się obszarem i nie powstały jeszcze procesy ostateczne. Dlatego zagadnienia w tym artykule nie są przedstawione szczegółowo, a skupiamy się raczej na systemach, które obserwowaliśmy w działaniu w różnych sytuacjach. Spodziewamy się, że ta dziedzina będzie się rozwijać i pojawi się więcej struktur uwzględniających określone konteksty biznesowe i cele. Na przykład doskonały system ocen opracowany dla nowoczesnego produktu konsumenckiego opartego na AI może wymagać innych procesów niż system stworzony z myślą o automatyzacji wewnętrznej oparty na standardowych procedurach operacyjnych. Mamy nadzieję, że zamieszczone poniżej informacje posłużą jako zbiór najlepszych praktyk w obu przypadkach i staną się przydatnym przewodnikiem podczas tworzenia systemów ocen dostosowanych do potrzeb twojej organizacji.

Zacznij od zebrania małego zespołu do zadań specjalnych, który w prostych słowach opisze cel twojego systemu AI, na przykład: „System powinien przekształcać odpowiednie przychodzące wiadomości e-maile w zaplanowane prezentacje zgodne ze stylem naszej marki”.

W skład zespołu powinny wchodzić osoby dysponujące wiedzą techniczną i branżową (w podanym przykładzie powinny to być osoby z działu sprzedaży). Powinny one określić najważniejsze wyniki, które można zmierzyć, nakreślić pełny przepływ pracy i zidentyfikować każdy ważny aspekt decyzyjny, z którym zmierzy się twój system AI. Na każdym etapie tego przepływu pracy zespół powinien zdefiniować, jak wygląda sukces i czego unikać. W tym procesie zostanie utworzone przypisanie dziesiątek przykładowych elementów danych wejściowych (np. przychodzące wiadomości e-mail) do danych wyjściowych, które mają być wygenerowane przez system. Powstały „zestaw wzorcowy” przykładów powinien być aktualizowaną na bieżąco, wiarygodną bazą wiedzy opracowaną przez najbardziej wykwalifikowanych ekspertów, która jest definicją „doskonałości”.

Nie zrażaj się początkowymi trudnościami ani nie próbuj rozwiązać wszystkich problemów jednocześnie. Proces tworzenia jest działaniem iteracyjnym i nieuporządkowanym, a prototypowanie na wczesnym etapie może być bardzo pomocne. Zweryfikowanie 50-100 elementów danych wyjściowych opracowanych przez wczesną wersję systemu pokaże jego słabości. Taka „analiza błędów” pozwoli na stworzenie taksonomii różnych błędów (i częstotliwości ich występowania), co pozwoli monitorować postępy rozwojowe systemu.

Poza technicznymi obszarami proces ten obejmuje również inne aspekty i koncentruje się na definiowaniu celów biznesowych i pożądanych działań. Dlatego też do zespołów technicznych oceniających system należy dokooptować przedstawicieli działu produktowego, sprzedaży czy HR. W ten sposób osoby z różnymi kompetencjami będą odpowiedzialne za finalną wersję systemu. 

Następnie należy zmierzyć wyniki działania systemu. Celem tej operacji jest rzetelne przedstawienie konkretnych przykładów tego, jak i kiedy system zawodzi. Przeprowadzenie pomiarów wymaga stworzenia dedykowanego środowiska testowego, które dokładnie odzwierciedla rzeczywiste warunki — nie może to być prosta wersja demo ani zwykłe środowisko do eksperymentów z poleceniami. Oceń wydajność systemu w odniesieniu do „zestawu wzorcowego” oraz analizy błędów i to w warunkach odpowiadających realnym obciążeniom i trudnym scenariuszom, które rzeczywiście wystąpią.

Dobrze przygotowana tabela zapewni rzetelne wyniki oceny danych wyjściowych, ale przykładanie zbyt dużej wagi do szczegółów może sprawić, że zapomnisz o prawdziwych celach projektu. Ponadto niektóre cechy są trudne lub wręcz niemożliwe do zmierzenia. W niektórych przypadkach tradycyjne wskaźniki biznesowe będą istotne, a w innych trzeba będzie stworzyć zupełnie nowe wskaźniki. Przez cały proces na bieżąco komunikuj się ze specjalistami i ściśle dopasuj proces do swoich głównych celów.

Aby faktycznie przetestować system, użyj danych zaczerpniętych z rzeczywistych sytuacji (o ile to możliwe) i uwzględnij lub wymyśl przypadki skrajne, które choć nieczęsto występują, to w obliczu niewłaściwie zastosowanych procedur, mogą być opłakane w skutkach. 

Niektóre systemy można skalować za pomocą modelu oceniającego LLM, czyli rozwiązania AI, które ocenia dane wyjściowe w taki sam sposób, jak zrobiłby to ekspert; jednak człowiek nadal musi nadzorować proces. Specjalista powinien regularnie audytować modele oceniające LLM pod kątem dokładności i również dokładnie sprawdzać dzienniki zachowania systemu. 

Systemy ocen mogą ułatwić określenie, kiedy dane rozwiązanie jest gotowe do uruchomienia, ale ich zadanie nie kończy się na tym etapie, ponieważ należy stale mierzyć jakość danych wyjściowych generowanych przez system na podstawie rzeczywistych danych wejściowych. Podobnie jak w przypadku każdego produktu — opinie od użytkowników końcowych (zewnętrznych lub wewnętrznych) są szczególnie ważne i należy je uwzględnić w systemie ocen.

Ostatni etap polega na opracowaniu procesu ciągłego doskonalenia. Problemy ujawnione przez twój system ocen można rozwiązywać na wiele sposobów: udoskonalać polecenia, dostosowywać dostęp do danych, aktualizować sam system ocen, aby lepiej odpowiadał celom itd. W miarę występowania nowych typów błędów dodawaj je do swojej analizy i rozwiązuj. Każda iteracja łączy się z poprzednią: nowe kryteria i bardziej precyzyjne oczekiwania dotyczące zachowania systemu pomagają określić nowe przypadki skrajne i podstępne problemy do rozwiązania.

Aby w pełni wspierać kolejne iteracje, stwórz samonapędzający się mechanizm danych. Rejestruj dane wejściowe, dane wyjściowe i wyniki; co pewien czas analizuj te dane i automatycznie przekazuj niejednoznaczne lub kosztowne przypadki do weryfikacji przez eksperta. Uzyskane opinie ekspertów dodawaj do swojej analizy i oceny błędów, a następnie za ich pomocą zaktualizuj polecenia, narzędzia lub modele. W ten sposób lepiej określisz oczekiwania wobec systemu, dopasujesz go do nich i określisz dodatkowe wyniki do monitorowania. Wdrożenie tego procesu na dużą skalę zapewni duży, zróżnicowany, dostosowany do kontekstu zestaw danych, który jest trudny do skopiowania. Będzie to cenny zestaw informacji, który twoja organizacja może wykorzystać do stworzenia najlepszego produktu lub procesu na danym rynku. 

Podczas tworzenia systemowego rozwiązania ulepszającego działanie sztucznej inteligencji mogą pojawić się nowe problemy. Wraz z usprawnianiem modeli, danych i celów biznesowych należy również doprecyzowywać systemy ocen, rozszerzać je i poddawać testom sprawności.

W przypadku wdrożeń zewnętrznych systemy ocen nie zastępują bardziej tradycyjnych testów A/B i eksperymentów z produktami, lecz stanowią raczej ich uzupełnienie, zapewniając dodatkowe informacje o wprowadzanych zmianach i ich wpływie na rzeczywiste wyniki. 

Każda istotna zmiana technologiczna modyfikuje doskonałość operacyjną i wpływa na przewagę konkurencyjną. Wskaźniki takie jak OKR i KPI pomogły organizacjom skupić się na „mierzeniu tego, co istotne dla firmy” w dobie analiz dużych zbiorów danych. Systemy ocen są naturalnym rozwinięciem tych wskaźników w erze sztucznej inteligencji.

Praca z systemami probabilistycznymi wymaga nowych rodzajów pomiarów i dokładniejszego przemyślenia kompromisów. Liderzy muszą zdecydować, kiedy precyzja jest niezbędna, kiedy mogą sobie pozwolić na większą elastyczność i w jaki sposób zrównoważyć szybkość i niezawodność.

Systemy ocen są trudne do wdrożenia z takiego samego powodu jak tworzenie doskonałych produktów — ponieważ wymagają rygoru, wizji i wyczucia. Jeśli wprowadzi się je właściwie, stają się one unikalnymi wyróżnikami. W erze powszechnej dostępności informacji i demokratyzacji wiedzy specjalistycznej twoja przewaga zależy od sprawności używanych systemów w ich kontekście działania. Solidnie opracowane systemy ocen budują efekt śnieżnej kuli: z każdym cyklem stają się one lepsze, a doświadczenie zespołu i wiedza instytucjonalna rosną. 

Fundamentem systemów ocen jest dogłębne zrozumienie kontekstu i celów biznesowych. Jeśli nie potrafisz stworzyć własnej definicji „doskonałości”, prawdopodobnie nie uda ci się tego osiągnąć. W tym kontekście systemy ocen pokazują istotną prawdę ery AI: umiejętności zarządzania są tożsame z umiejętnościami obsługi AI. Wyznaczanie jasnych celów, szybkie uzyskiwanie informacji zwrotnych, rozsądne decyzje oraz pełne zrozumienie swojej propozycji wartości, strategii i procesów wciąż są istotne — być może nawet bardziej niż wcześniej.

Wraz z rozwojem systemów i działań podzielimy się nimi, a w międzyczasie zachęcamy do eksperymentowania z systemami ocen i zapoznania się z procesami najlepiej dostosowanymi do danego działania. Na początek zidentyfikuj problem do rozwiązania i znajdź specjalistę w tej dziedzinie, zbierz swój mały zespół, a jeśli korzystasz z naszego API, przejrzyj dokumentację platformy⁠(otwiera nowe okno).

Nie licz, że „doskonałość” pojawi się sama z siebie. Określ ją, zmierz to i poprawiaj uzyskane wyniki, kierując się w stronę doskonałości.