Miten arvioinnit ohjaavat yritysten tekoälyn seuraavaa kehitysvaihetta

Yli miljoona yritystä⁠ ympäri maailmaa hyödyntää tekoälyä parantaakseen tehokkuutta ja luodakseen arvoa. Jotkut organisaatiot ovat kuitenkin kamppailleet saadakseen odottamansa tulokset. Mikä aiheuttaa eron?

OpenAI:ssa hyödynnämme tekoälyä sisäisesti saavuttaaksemme kunnianhimoiset tavoitteemme. Yksi keskeinen työkalu, jota käytämme, on evals-menetelmä, jolla mitataan ja parannetaan tekoälyjärjestelmän kykyä vastata odotuksiin. 

Tuotevaatimusasiakirjojen tavoin arvioinnit tekevät epämääräisistä tavoitteista ja abstrakteista ideoista tarkkoja ja selkeitä. Arviointien strateginen käyttö voi tehdä asiakaslähtöisestä tuotteesta tai sisäisestä työkalusta luotettavamman skaalautuvasti, vähentää vakavia virheitä, suojata haittapuoliriskeiltä ja antaa organisaatiolle mitattavan polun korkeampaan sijoitetun pääoman tuottoon. 

OpenAI:ssa mallit ovat tuotteitamme, joten tutkijamme käyttävät tiukkoja edistyneitä arviointeja⁠(avautuu uudessa ikkunassa) ¹ mitatakseen, kuinka hyvin mallit suoriutuvat eri toimialueilla. Vaikka edistyneet arvioinnit auttavat meitä toimittamaan parempia malleja nopeammin, ne eivät voi paljastaa kaikkia niitä vivahteita, jotka vaaditaan, jotta malli toimii tietyssä työnkulussa tietyssä liiketoimintaympäristössä. Siksi sisäiset tiimit ovat luoneet kymmeniä kontekstuaalisia arviointeja, jotka on suunniteltu arvioimaan tietyn tuotteen tai sisäisen työnkulun suorituskykyä. Siksi yritysjohtajien tulisi oppia luomaan kontekstuaalisia arviointeja, jotka on räätälöity organisaation tarpeisiin ja toimintaympäristöön.  

Tämä on opas yritysjohtajille, jotka haluavat soveltaa arviointeja organisaatioissaan. Kontekstuaaliset arvioinnit, jotka on laadittu tietyn organisaation työnkulkua tai tuotetta varten, ovat aktiivisen kehityksen kohteena, eikä lopullisia prosesseja ole vielä syntynyt. Tämän seurauksena tämä artikkeli tarjoaa laajan viitekehyksen, jonka olemme nähneet toimivan monissa tilanteissa. Odotamme tämän alan kehittyvän ja uusien kehysten syntyvän, jotka vastaavat tiettyihin liiketoimintaympäristöihin ja tavoitteisiin. Esimerkiksi huippuluokan, tekoälypohjaisen kuluttajatuotteen erinomainen arviointi saattaa edellyttää erilaista prosessia kuin sisäisen automaation arviointi, joka perustuu vakiintuneeseen toimintatapaan. Uskomme, että alla esitetty kehys toimii molemmissa tapauksissa parhaiden käytäntöjen kokoelmana ja on hyödyllinen opas, kun luot organisaatiosi tarpeisiin räätälöityjä arviointeja.

Aloita pienellä, valtuutetulla tiimillä, joka voi kirjoittaa tekoälyjärjestelmäsi tarkoituksen selkein sanoin, esimerkiksi: ”Muunna kelvolliset saapuvat sähköpostit aikataulutetuiksi esittelyiksi brändin henkeen sopivalla tavalla.”

Tämän tiimin tulisi koostua teknisestä ja alan asiantuntemuksesta (annetussa esimerkissä tiimiin tulisi kuulua myyntiasiantuntijoita). Heidän tulisi pystyä esittämään tärkeimmät mitattavat tulokset, hahmottelemaan työnkulun alusta loppuun ja tunnistamaan jokainen tärkeä päätöksentekopiste, jonka tekoälyjärjestelmäsi kohtaa. Jokaisessa työnkulun vaiheessa tiimin tulisi määritellä, miltä menestys näyttää ja mitä tulisi välttää. Tämä prosessi luo kartoituksen kymmenistä esimerkkisyötteistä (esim. saapuvat sähköpostit) niille tuotoksille, jotka haluat järjestelmän tuottavan. Tuloksena olevan kultaisen sarjan esimerkkien tulisi olla elävä, arvovaltainen viite taitavimpien asiantuntijoidesi harkinnasta ja mausta siitä, miltä ”erinomainen” näyttää.

Älä anna vaisun alun ahdistaa sinua äläkä yritä ratkaista kaikkea kerralla. Prosessi on toistuva ja sekava. Varhainen prototyyppien kehittäminen voi olla erittäin hyödyllistä. Kun tarkastelet järjestelmän varhaisen version 50–100 tuotosta, huomaat, miten ja milloin järjestelmäsi epäonnistuu. Tämä ”virheanalyysi” johtaa erilaisten virheiden (ja niiden esiintymistiheyksien) luokitteluun, jota voit seurata järjestelmän kehittyessä.

Tämä prosessi ei ole puhtaasti tekninen, vaan se on monialainen ja keskittyy liiketoimintatavoitteiden ja haluttujen prosessien määrittelyyn. Teknisiä tiimejä ei pitäisi pyytää erikseen arvioimaan, mikä parhaiten palvelee asiakkaita tai muiden tiimien, kuten tuote-, myynti- tai henkilöstötiimien, tarpeita. Tästä syystä alan asiantuntijoiden, teknisten johtajien ja muiden keskeisten sidosryhmien pitäisi jakaa omistajuus. 

Seuraava askel on mitata. Mittauksen tavoitteena on luotettavasti tuoda esiin konkreettisia esimerkkejä siitä, miten ja milloin järjestelmä epäonnistuu. Luo tätä varten erityinen testausympäristö, joka vastaa tarkasti todellisia olosuhteita – ei vain esittely- tai kokeilualustaa. Arvioi suorituskykyä kultaista sarjaa ja virheanalyysiä vastaan samojen paineiden ja ääritapausten alla, joita järjestelmäsi todellisuudessa kohtaa.

Arviointikriteerit voivat auttaa konkretisoimaan järjestelmän tulosten arviointia, mutta on mahdollista, että pinnallisia seikkoja korostetaan liikaa kokonaisvaltaisten tavoitteiden kustannuksella. Lisäksi joitakin ominaisuuksia on vaikea tai mahdoton mitata. Joissakin tapauksissa perinteiset liiketoiminnan mittarit ovat tärkeitä. Toisissa tapauksissa sinun täytyy keksiä uusia mittareita. Pidä aihealueen asiantuntijat ajan tasalla koko prosessin ajan ja sovita prosessi tiiviisti ydintavoitteisiisi.

Järjestelmän testaamiseksi käytä mahdollisuuksien mukaan esimerkkejä todellisista tilanteista ja sisällytä tai keksi harvinaisia, mutta väärin käsiteltynä kalliiksi tulevia ääritapauksia. 

Joitakin arviointeja voidaan skaalata käyttämällä LLM-arvostelijaa, tekoälymallia, joka arvioi tuotokset samalla tavalla kuin asiantuntija. On kuitenkin edelleen tärkeää, että ihminen on mukana prosessissa. Toimialan asiantuntijasi täytyy säännöllisesti tarkistaa LLM-arvioijien tarkkuus sekä suoraan järjestelmäsi toiminnan lokit. 

Evals voi auttaa sinua päättämään, milloin järjestelmä on valmis käyttöönottoon, mutta ne eivät pääty käyttöönottoon. Sinun tulisi jatkuvasti mitata järjestelmän todellisten tulosten laatua, jotka on tuotettu todellisista syötteistä. Kuten minkä tahansa tuotteen kohdalla, loppukäyttäjien (ulkoisten tai sisäisten) signaalit ovat erityisen tärkeitä ja ne tulisi sisällyttää arviointiin.

Viimeinen vaihe on luoda prosessi jatkuvan parantamisen varmistamiseksi. Arvioinnin paljastamiin ongelmiin voi puuttua monella tavalla: tarkentamalla kehotteita, säätämällä datan saatavuutta, päivittämällä itse arviointia vastaamaan paremmin tavoitteitasi ja niin edelleen. Kun löydät uusia virhetyyppejä, lisää ne virheanalyysiisi ja korjaa ne. Jokainen iterointi täydentää edellistä: uudet kriteerit ja selkeämmät odotukset järjestelmän toiminnalle auttavat paljastamaan uusia ääritapauksia ja hienovaraisia, sitkeitä ongelmia, jotka on korjattava.

Rakenna datapyörä tämän iteraation tukemiseksi. Kirjaa syötteet, tuotokset ja tulokset; ota näistä lokista säännöllisesti näytteitä ja ohjaa epäselvät tai kalliit tapaukset automaattisesti asiantuntijoiden tarkasteltaviksi. Lisää nämä asiantuntijaarviot arviointiisi ja virheanalyysiisi ja käytä niitä kehotteiden, työkalujen tai mallien päivittämiseen. Tämän silmukan avulla voit määritellä selkeämmin odotuksesi järjestelmälle, sovittaa sen paremmin odotuksiin ja tunnistaa seurattavia lisätietoja ja tuloksia. Tämän prosessin laajamittainen käyttöönotto tuottaa suuren, eriytetyn ja kontekstikohtaisen tietojoukon, jota on vaikea kopioida – arvokkaan resurssin, jota organisaatiosi voi hyödyntää rakentaessaan markkinoiden parasta tuotetta tai prosessia.

Vaikka arvioinnit luovat systemaattisen tavan parantaa tekoälyjärjestelmääsi, voi syntyä uusia vikatiloja. Käytännössä mallien, tietojen ja liiketoimintatavoitteiden kehittyessä arviointeja on myös jatkuvasti ylläpidettävä, laajennettava ja testattava stressitesteillä.

Ulkoisissa käyttöönotoissa arvioinnit eivät korvaa perinteisempiä A/B-testejä ja tuotekokeiluja. Ne täydentävät perinteistä kokeilua ja voivat auttaa ohjaamaan toisiaan ja tarjoamaan näkyvyyttä siihen, miten tekemäsi muutokset vaikuttavat todelliseen suorituskykyyn. 

Jokainen merkittävä teknologinen muutos muokkaa toiminnan tehokkuutta ja kilpailuetua. Kehykset, kuten OKR:t ja KPI:t, ovat auttaneet organisaatioita suuntautumaan kohti ”tärkeiden asioiden mittaamista” liiketoiminnassaan big data -analytiikan aikakaudella. Arvioinnit ovat luonnollinen jatke mittaamiselle tekoälyn aikakaudella.

Todennäköisyysjärjestelmien kanssa työskenteleminen edellyttää uudenlaisia mittauksia ja kompromissien perusteellisempaa pohdintaa. Johtajien on päätettävä, milloin tarkkuus on olennaista, milloin voi olla joustavampi ja miten tasapainottaa nopeus ja luotettavuus.

Arviointien toteuttaminen on vaikeaa samasta syystä kuin loistavien tuotteiden kehittäminen; ne vaativat tarkkuutta, näkemystä ja makua. Hyvin tehtyinä arvioinneista tulee ainutlaatuisia erottajia. Maailmassa, jossa tietoa on vapaasti saatavilla ja asiantuntemus on demokratisoitua, etusi riippuu siitä, kuinka hyvin järjestelmäsi toimivat omassa kontekstissasi. Vankat arvioinnit luovat kumulatiivisia etuja ja institutionaalista osaamista järjestelmiesi parantuessa. 

Arvioinnit perustuvat pohjimmiltaan syvälliseen ymmärrykseen liiketoimintaympäristöstä ja tavoitteista. Jos et pysty määrittelemään, mitä ”loistava” tarkoittaa käyttötapauksessasi, et todennäköisesti saavuta sitä. Tässä mielessä arvioinnit korostavat tekoälyaikakauden keskeistä opetusta: johtamistaidot ovat tekoälytaitoja. Selkeät tavoitteet, suora palaute, harkittu harkintakyky ja selkeä ymmärrys arvoehdotuksestasi, strategiastasi ja prosesseistasi ovat edelleen tärkeitä, kenties jopa tärkeämpiä kuin koskaan.

Kun uusia parhaita käytäntöjä ja viitekehyksiä syntyy, jaamme ne. Sillä välin kannustamme sinua kokeilemaan arviointeja ja selvittämään, mitkä prosessit sopivat parhaiten tarpeisiisi. Aloita tunnistamalla ratkaistava ongelma ja toimialueasiantuntijasi, kokoa pieni tiimisi ja, jos rakennat API:mme avulla, tutustu alustadokumentaatioomme⁠(avautuu uudessa ikkunassa).

Älä toivo ”loistavaa”. Määrittele se, mittaa se ja saavuta se parantamalla suoritustasi.