LifeVal
Az MI fejlődésének mérése a mindennapi életben fontos feladatokban.
Az OpenAI küldetése, hogy a mesterséges általános intelligencia az egész emberiség javát szolgálja. A ChatGPT‑t jelenleg hetente több mint egymilliárd ember használja. Olyan MI-t szeretnénk létrehozni számukra, amely segít a mindennapok gyakorlati kihívásaiban: gyermekfelügyeletet találni, állami szolgáltatásokat igénybe venni, költségvetést készíteni, felkészülni az iskolára, recepteket módosítani, élelmiszert rendelni, edzéstervet összeállítani és még sok másban.
Ha valaki segítséget keres ahhoz, hogy könnyebbé tegye az életét, többre van szüksége tanácsoknál vagy egy csevegésben kapott válasznál. Ahhoz, hogy a ChatGPT valóban hasznos személyi asszisztens legyen, olyan lépéseket is meg kell tudnia tenni, amelyekkel ténylegesen elintézi a feladatokat.
Létrehoztunk egy értékelési feladatsort, hogy idővel mérni tudjuk a modellek teljesítményét a hétköznapi teendőkben. Olyan területekre összpontosítottunk, ahol a felhasználók a legtöbb segítséget szeretnék kapni az MI-től és a személyes ügynököktől. Az elmúlt évben ezzel az értékeléssel követtük és ösztönöztük a modellek fejlődését a hétköznapi feladatokban.
Háttér
Az emberek számára legértékesebb feladatok azonosításához két nagyszabású kutatásból indultunk ki, amelyek azt követik, mivel töltik az idejüket az emberek az Egyesült Államokban és nemzetközi szinten: az amerikai időmérleg-felmérésből(új ablakban nyílik meg) és a nemzetközi időmérleg-kutatásból(új ablakban nyílik meg). Ezek az adathalmazok együtt részletes képet adnak arról, milyen hétköznapi feladatokat végeznek az emberek a különböző demográfiai csoportokban, napszakokban és évszakokban. Hogy megértsük, hol tartanák a legértékesebbnek az MI segítségét, ezeket a meglévő felméréseket egy új, 3995 válaszadó részvételével készült, demográfiailag reprezentatív felméréssel egészítettük ki. Minden feladatról többféle kérdést tettünk fel, hogy meghatározzuk, mely területeken szeretnének leginkább személyi asszisztensi segítséget kapni az emberek a mindennapokban. Az így összeállított feladatok lefedik a legfontosabb területeket, ahol az emberek segítséget szeretnének: a gondozást, az egészségügyet, az oktatást, a háztartási ügyintézést, a személyes pénzügyeket, a vásárlást és az állami szolgáltatások igénybevételét.
Példák egyes feladatokra
Az alábbi példák bemutatják, hogyan teljesítenek jelenlegi modelljeink a mindennapi élet gyakorlati feladatsoraiban.
Legújabb modelljeink számos LifeVal-feladatban nagyon magas pontszámot érnek el.
Az elmúlt évben úgy tanítottuk a modelljeinket, hogy a böngésző- és számítógép-használatot, valamint a csatlakozókat érintő feladatokban sokkal gyorsabban, ügyesebben és a felhasználói szándékkal nagyobb összhangban működjenek. Ezeknek a képességeknek a ChatGPT‑ben való elérhetővé tétele bővíti azon feladatok körét, amelyekben a modell segíteni tud. Ezzel a ChatGPT túllép a csevegőeszköz szerepén, és egy valóban önállóan cselekvő személyi asszisztenssé válik.
Miért fontos ez?
Ahhoz, hogy az AGI az egész emberiség javát szolgálja, mérnünk és ösztönöznünk kell a modellek fejlődését azokban a dolgokban, amelyek számítanak az emberek mindennapi életében. Ez azt jelenti, hogy túl kell lépnünk a modellek tudásának tudományos értékelésén, és ténylegesen mérnünk kell, mennyire képesek az MI-modellek segíteni az embereknek a döntéshozatalban, a mindennapi teendők kezelésében és a számukra fontos feladatok elvégzésében. Bízunk benne, hogy a LifeVal egy lépést jelent e cél felé.



























