Hvordan evalueringer driver det neste kapittelet i KI for bedrifter

Over én million bedrifter⁠ over hele verden utnytter KI for å oppnå større effektivitet og verdiskaping. Noen organisasjoner har imidlertid hatt problemer med å oppnå de resultatene de forventer. Hva er årsaken til spriket?

Hos OpenAI utnytter vi KI internt for å oppnå våre ambisiøse mål. Et viktig sett med verktøy vi bruker er evalueringer, metoder for å måle og forbedre et KI-systems evne til å møte forventningene. 

I likhet med produktkravsdokumenter gjør evalueringer uklare mål og abstrakte ideer spesifikke og eksplisitte. Strategisk bruk av evalueringer kan gjøre et kunderettet produkt eller internt verktøy mer pålitelig i stor skala, redusere alvorlige feil, beskytte mot nedsiderisiko og gi en organisasjon en målbar vei til høyere avkastning på investeringen. 

Hos OpenAI er modellene våre våre produkter, så forskerne våre bruker strenge frontier-evalueringer⁠(åpnes i et nytt vindu) ¹ for å måle hvor godt modellene presterer i ulike domener. Mens frontierevalueringer hjelper oss med å levere bedre modeller raskere, kan de ikke avsløre alle nyansene som kreves for å sikre at modellen vil fungere i en spesifikk arbeidsflyt i en spesifikk bedrift. Derfor har interne team også opprettet dusinvis av kontekstuelle evalueringer som er utformet for å vurdere ytelsen innenfor et bestemt produkt eller en intern arbeidsflyt. Det er også grunnen til at bedriftsledere bør lære å opprette kontekstuelle evalueringer som er spesifikke for organisasjonens behov og driftsmiljø. 

Dette er en innføring for bedriftsledere som ønsker å bruke evalueringer i sine organisasjoner. Kontekstuelle evalueringer, som er skreddersydd for en bestemt organisasjons arbeidsflyt eller produkt, er et aktivt utviklingsområde, og endelige prosesser har ennå ikke blitt etablert. Følgelig gir denne artikkelen et bredt rammeverk som vi har sett fungere i mange situasjoner. Vi forventer at dette feltet vil utvikle seg, og at flere rammeverk vil dukke opp som tar for seg spesifikke bedriftskontekster og mål. For eksempel kan en utmerket evaluering for et banebrytende, KI-aktivert forbrukerprodukt kreve en annen prosess enn en evaluering for en intern automatisering basert på en standard driftsprosedyre. Vi tror at rammeverket som presenteres nedenfor vil tjene som en samling av beste praksis i begge tilfeller, og vil være en nyttig veiledning når du bygger evalueringer skreddersydd for organisasjonens behov.

Start med et lite, godt utrustet team som kan skrive ned formålet med KI-systemet ditt i klartekst, for eksempel: «Konverter kvalifiserte innkommende e-poster til planlagte demoer, samtidig som du holder deg til merkevaren.»

Dette teamet bør bestå av en blanding av personer med teknisk og domene-ekspertise (i det gitte eksempelet vil du ha salgseksperter på Teamet). De bør kunne angi de viktigste resultatene som skal måles, skissere arbeidsflyten fra ende til ende, og identifisere hvert viktige beslutningspunkt KI-systemet ditt vil møte. For hvert trinn i den arbeidsflyten skal teamet definere hvordan suksess ser ut og hva som bør unngås. Denne prosessen vil opprett en kartlegging av flere titalls eksempler på inndata (f.eks. innkommende e-poster) til de utdataene de ønsker at systemet skal produsere. Det resulterende gylne settet med eksempler bør være en levende, autoritativ referanse til dine dyktigste eksperters vurdering og smak for hvordan «flott» ser ut.

Ikke bli overveldet av en kald start, eller prøv å løse alt på en gang. Prosessen er gjentakende og rotete. Tidlig prototyping kan hjelpe veldig mye. Når 50 til 100 utdata fra en tidlig versjon av systemet gjennomgås, avdekkes hvordan og når systemet svikter. Denne «feilanalysen» vil resultere i en taksonomi over forskjellige feil (og deres hyppighet) som kan spores etter hvert som systemet forbedres.

Denne prosessen er ikke bare teknisk — den er tverrfunksjonell og sentrert rundt å definere bedriftsmål og ønskede prosesser. Tekniske team bør ikke bli bedt om å vurdere alene hva som best tjener kundene eller behovene til andre team, som produkt-, salgs- eller HR-team. Derfor bør domene-eksperter, tekniske ledere og andre viktige interessenter dele eierskap. 

Neste trinn er å måle. Hensikten med måling er å frembringe konkrete eksempler på hvordan og når systemet svikter, på en pålitelig måte. For å gjøre det, opprett et dedikert testmiljø som gjenspeiler virkelige forhold – ikke bare en demonstrasjon eller en kommandolekeplass. Evaluer ytelsen mot gullsettet og feilanalysen under de samme pressene og ytterpunktene som systemet ditt faktisk vil møte.

Rubrikker kan bidra til å konkretisere vurderingen av utdata fra systemet, men det er mulig å legge for mye vekt på overfladiske elementer på bekostning av de overordnede målene dine. Videre er noen kvaliteter vanskelige eller umulige å måle. I noen tilfeller vil tradisjonelle bedriftsmålinger være viktige. I andre tilfeller må du finne på nye metrikker. Hold fagekspertene dine oppdatert gjennom hele prosessen, og samkjør prosessen tett med kjernemålene dine.

For å faktisk teste systemet, bruk eksempler hentet fra virkelige situasjoner når det er mulig, og inkluder eller finn opp grensetilfeller som er sjeldne, men kostbare hvis de håndteres feil. 

Noen evalueringer kan skaleres ved bruk av en LLM grader, en KI-modell som vurderer utdata på samme måte som en ekspert ville gjort; likevel er det fortsatt viktig å ha et menneske med i prosessen. Domene-eksperten din må kontrollere LLM-vurderingspersoner regelmessig for nøyaktighet og bør også direkte gjennomgå logger over systemets oppførsel. 

Evalueringer kan hjelpe deg med å avgjøre når et system er klart til lansering, men de stopper ikke ved lansering. Du bør kontinuerlig måle kvaliteten på systemets faktiske utdata generert fra faktiske inndata. Som med alle produkter, er signaler fra brukerne dine (enten eksterne eller interne) spesielt viktige og bør integreres i evalueringen din.

Det siste steget er å sette opp en prosess for kontinuerlig forbedring. Det kan ta mange former å ta tak i problemer som avdekkes av evalueringen: å forbedre meldinger, justere datatilgang, oppdatere selve evalueringen for bedre å reflektere målene dine, og så videre. Når du oppdager nye typer feil, legg dem til i feilanalysen din og håndter dem. Hver gjentakelse bygger på den forrige: nye kriterier og tydeligere forventninger til systematferd hjelper med å avdekke nye kanttilfeller og subtile, gjenstridige problemer som må korrigeres.

For å støtte denne iterasjonen, bygg et datasvinghjul. Logg inndata, utdata og resultater; ta prøver av disse loggene etter en tidsplan og rute automatisk tvetydige eller kostbare saker til ekspertgjennomgang. Legg til disse ekspertvurderingene i evalueringen og feilanalysen din, og bruk dem til å oppdatere meldinger, verktøy eller modeller. Gjennom denne sløyfen vil du tydeligere definere forventningene dine til systemet, justere det tettere etter disse forventningene og identifisere ytterligere relevante utdata og resultater å spore. Implementering av denne prosessen i stor skala gir et stort, differensiert og kontekstspesifikt datasett som er vanskelig å kopiere – en verdifull ressurs som organisasjonen din kan utnytte når du bygger det beste produktet eller prosessen i markedet ditt. 

Mens evalueringer oppretter en systematisk måte å forbedre KI-systemet ditt på, kan nye feilmoduser oppstå. Etter hvert som modeller, data og bedriftsmål utvikler seg, må evalueringer i praksis kontinuerlig opprettholdes, utvides og stresstestes.

For eksternt rettede distribusjoner erstatter ikke evalueringer mer tradisjonelle A/B-tester og produkteksperimenter. De er komplementer til tradisjonelle eksperimenter som kan hjelpe til med å veilede hverandre og gi innsikt i hvordan endringer du gjør påvirker ytelsen i den virkelige verden. 

Hvert større teknologiskifte omformer operasjonell dyktighet og konkurransefortrinn. Rammeverk som OKR-er og KPI-er har hjulpet organisasjoner med å orientere seg rundt å «måle hva som er viktig» for bedriften deres i stordata-analysens tidsalder. Evalueringer er den naturlige forlengelsen av måling for KI-tidsalderen.

Jobbing med sannsynlighetssystemer krever nye typer målinger og en dypere vurdering av avveininger. Ledere må avgjøre når presisjon er essensiell, når de kan være mer fleksible, og hvordan de skal balansere hastighet og pålitelighet.

Evalueringer er vanskelige å implementere, av samme grunn som det er vanskelig å bygge gode produkter; de krever grundighet, visjon og smak. Hvis det gjøres bra, blir evalueringer unike differensiatorer. I en verden der informasjon er fritt tilgjengelig over hele verden og ekspertise er demokratisert, avhenger fordelen din av hvor godt systemene dine kan utføre innenfor din kontekst. Robuste evalueringer oppretter sammensatte fordeler og institusjonell kunnskap etter hvert som systemene dine forbedres. 

I kjernen handler evalueringer om en dyp forståelse av bedriftskontekst og mål. Hvis du ikke kan definere hva «flott» betyr for ditt bruksområde, er det lite sannsynlig at du vil oppnå det. I denne forstand fremhever evalueringer en viktig lærdom fra KI-æraen: ledelsesferdigheter er KI-ferdigheter. Tydelige mål, direkte tilbakemelding, fornuftig vurderingsevne og en klar forståelse av verdiforslaget ditt, strategien din og prosessene dine er fortsatt viktige, kanskje enda mer enn noen gang.

Etter hvert som flere beste praksiser og rammeverk dukker opp, vil vi dele dem. I mellomtiden oppfordrer vi deg til å eksperimentere med evalueringer og finne ut hvilke prosesser som fungerer best for dine behov. For å komme i gang, identifiser problemet som skal løses og din domeneekspert, samle det lille teamet ditt, og hvis du bygger videre på vårt API, utforsk våre Platform Docs⁠(åpnes i et nytt vindu).

Ikke håp på «flott». Spesifiser det, mål det og forbedre det.