LifeVal
Merjenje napredka UI pri nalogah, pomembnih v vsakdanjem življenju.
Poslanstvo podjetja OpenAI je zagotoviti, da splošna umetna inteligenca koristi vsemu človeštvu. Za več kot milijardo ljudi, ki trenutno vsak teden uporabljajo ChatGPT, želimo razviti UI, ki lahko pomaga pri praktičnih izzivih vsakdanjega življenja, kot so iskanje varstva za otroke, dostop do državnih storitev, načrtovanje proračuna, priprave na šolo, prilagajanje receptov, naročanje živil, oblikovanje načrtov vadbe in drugo.
Kdor išče pomoč, ki bi mu olajšala življenje, potrebuje več kot nasvet ali odgovor v klepetu. Da bi bil ChatGPT resnično koristen osebni pomočnik, bi moral znati ukrepati in naloge dejansko opraviti.
Za spremljanje uspešnosti modelov pri vsakdanjih nalogah skozi čas smo pripravili preizkus z nalogami s področij, na katerih so si uporabniki najbolj želeli pomoči UI in osebnih agentov. S tem preizkusom smo v zadnjem letu spremljali in spodbujali izboljševanje uspešnosti modelov pri vsakdanjih nalogah.
Ozadje
Da bi ugotovili, katere naloge so ljudem najpomembnejše, smo izhajali iz dveh obsežnih raziskav, ki spremljata porabo časa v ZDA in drugod po svetu: ameriške raziskave o porabi časa(odpre se v novem oknu) in večnacionalne raziskave o porabi časa(odpre se v novem oknu). Ti zbirki podatkov skupaj ponujata podroben pregled vsakdanjih opravil ljudi iz različnih demografskih skupin, ob različnih urah dneva in v različnih letnih časih. Da bi razumeli, kje bi ljudje najbolj cenili pomoč UI, smo te obstoječe raziskave dopolnili z novo anketo na demografsko reprezentativnem vzorcu 3.995 anketirancev. Za vsako nalogo smo zastavili več vprašanj, da bi ugotovili, na katerih področjih si ljudje v vsakdanjem življenju najbolj želijo pomoč osebnega pomočnika. Tako izbrane naloge zajemajo najpomembnejša področja, na katerih si ljudje želijo pomoči, med drugim skrb za druge, zdravje, izobraževanje, urejanje gospodinjskih zadev, osebne finance, nakupovanje in dostop do državnih storitev.
Primeri posameznih nalog
Spodaj je nekaj primerov, kako se naši trenutni modeli obnesejo pri praktičnih opravilih iz vsakdanjega življenja.
Vpiši otroka v ustrezen vrtec po selitvi
Primerjaj vrtce v bližini našega novega doma in pripravi ožji izbor najprimernejših.
Izbor sem zožil na tri vrtce in uredil informacije o vpisu. Glede dveh želja se moraš še odločiti. Želiš pregledati ožji izbor?
Uskladi delo prostovoljcev pred poplavo
Pomagaj mi organizirati prostovoljce iz naše skupnosti za priprave na poplave pri štirih sosedih, ki potrebujejo pomoč pri protipoplavni zaščiti.
Pripravil sem preprost načrt ukrepov, ki bo prostovoljcem pomagal oceniti stanje na omenjenih lokacijah in se pripraviti na prihajajoče vremenske ujme.
Poišči nov dom za mojo družino
Poišči dom v okrožju Luzerne, ki ustreza mojemu proračunu, ima ločeno bivalno enoto in omogoča kratko pot v službo, potem ko otroke odložim v šoli. Dodaj lastniško listino v mojo košarico, da jo lahko pregledam.
Našel sem en dom, ki izpolnjuje tvoje zahteve. Izračunal sem davek na prenos lastništva in dodal lastniško listino v tvojo košarico na portalu okrožnih evidenc, da jo lahko pregledaš.
Oglej si tekmo skupaj z babico na daljavo
Pripravi preprost način, da si lahko z babico skupaj ogledava tekmo na daljavo.
Najpreprostejši način ogleda je pripravljen, skupaj z rezervno možnostjo, če prenos odpove. Želiš, da tebe in babico vodim skozi postopek?
Priprava obrokov za starša, ki se prilagaja na novo diagnozo sladkorne bolezni
Pomagaj mojemu staršu, da se prilagodi na novo diagnozo sladkorne bolezni, s praktičnim načrtom oskrbe in prehrane.
Načrt za prvi teden je pripravljen, vključno z obroki, opomniki in vprašanji za zdravstveno ekipo. Ga želiš skupaj pregledati, preden ga deliš s svojim staršem?
Naši najnovejši modeli pri številnih nalogah preizkusa LifeVal dosegajo zelo visoke rezultate.
V zadnjem letu smo naše modele usposabljali, da so pri nalogah z uporabo brskalnika, računalnika in povezovalnikov postali precej hitrejši, zmogljivejši in bolj usklajeni z nameni uporabnikov. Z uvedbo teh zmožnosti v ChatGPT se širi tudi nabor nalog, pri katerih lahko model pomaga. Tako ChatGPT presega vlogo pogovornega orodja in postaja pravi osebni pomočnik, ki lahko deluje kot agent.
Zakaj je to pomembno
Da bi zagotovili, da SUI koristi vsemu človeštvu, moramo meriti in spodbujati napredek modelov pri tem, kar je ljudem pomembno v vsakdanjem življenju. To pomeni, da moramo preseči akademsko ocenjevanje znanja modelov in dejansko meriti, kako dobro lahko modeli UI ljudem pomagajo pri odločanju, obvladovanju vsakdanjih obveznosti in opravljanju stvari, ki so jim pomembne. Upamo, da je LifeVal korak proti temu cilju.
