LifeVal
Măsurăm progresul IA în sarcinile care contează în viața de zi cu zi.
Misiunea OpenAI este să se asigure că inteligența generală artificială aduce beneficii întregii umanități. Pentru cele peste un miliard de persoane care folosesc în prezent ChatGPT în fiecare săptămână, vrem să construim o IA care să ajute la rezolvarea provocărilor practice ale vieții de zi cu zi: găsirea unor servicii de îngrijire a copiilor, accesarea serviciilor publice, crearea unui buget, pregătirea pentru școală, adaptarea rețetelor, comandarea alimentelor, conceperea planurilor de antrenament și multe altele.
Când cineva caută ajutor pentru a-și ușura viața, are nevoie de mai mult decât sfaturi sau un răspuns într-o conversație. Pentru a fi un asistent personal cu adevărat util, ChatGPT ar trebui să poată întreprinde acțiuni care duc efectiv sarcinile la bun sfârșit.
Pentru a măsura în timp performanța modelelor în sarcinile cotidiene, am creat o evaluare cu sarcini din domeniile în care utilizatorii își doreau cel mai mult ajutor din partea IA și a agenților personali. În ultimul an, am folosit această evaluare pentru a urmări și a îmbunătăți performanța modelelor în sarcinile cotidiene.
Context
Pentru a identifica sarcinile pe care utilizatorii le consideră cele mai importante, am pornit de la două studii ample care urmăresc modul în care oamenii își petrec timpul, atât în SUA, cât și la nivel internațional: Sondajul american privind utilizarea timpului(se deschide într-o fereastră nouă) și Studiul multinațional privind utilizarea timpului(se deschide într-o fereastră nouă). Împreună, aceste seturi de date oferă un inventar detaliat al sarcinilor cotidiene desfășurate de persoane din diverse grupuri demografice, în diferite momente ale zilei și anotimpuri. Pentru a înțelege unde ar aprecia utilizatorii cel mai mult ajutorul IA, am completat aceste sondaje existente cu un nou sondaj reprezentativ din punct de vedere demografic, cu 3.995 de participanți. Pentru fiecare sarcină, am pus o serie de întrebări pentru a identifica domeniile în care oamenii obișnuiți își doreau cel mai mult ajutorul unui asistent personal. Sarcinile rezultate acoperă cele mai importante domenii în care aceștia vor ajutor, printre care îngrijirea altor persoane, sănătatea, educația, administrarea gospodăriei, finanțele personale, cumpărăturile și accesarea serviciilor publice.
Exemple de sarcini individuale
Mai jos sunt câteva exemple de rezultate obținute de modelele noastre actuale în activități practice din viața de zi cu zi.
Înscrie copilul la grădinița potrivită după ce te-ai mutat
Compară grădinițele din apropierea noii noastre locuințe și selectează-le pe cele mai potrivite.
Am restrâns lista la trei grădinițe și am organizat detaliile pentru înscriere. Mai trebuie să te hotărăști asupra a două preferințe. Vrei să trecem în revistă lista finală?
Coordonează voluntarii înaintea unei inundații
Ajută-mă să organizez echipa de voluntari a comunității pentru pregătirea în caz de inundații, ca să sprijinim patru vecini care au nevoie de ajutor pentru a-și proteja locuințele.
Am pregătit un plan simplu de acțiune pentru a ajuta voluntarii să evalueze locațiile menționate și să se pregătească pentru fenomenele meteo extreme anunțate.
Găsește o locuință nouă pentru familia mea
Găsește o locuință în comitatul Luzerne care să se încadreze în bugetul meu, să aibă un spațiu de locuit separat și să-mi permită să ajung repede la lucru după ce duc copiii la școală. Adaugă actul de proprietate în coș ca să-l pot verifica.
Am găsit o locuință care îndeplinește cerințele tale. Am calculat taxa de transfer și am adăugat actul de proprietate în coșul tău de pe site-ul registrului comitatului, ca să-l poți verifica.
Urmărește un meci împreună cu bunica, de la distanță
Pregătește o soluție simplă pentru ca eu și bunica mea să putem urmări meciul împreună, de la distanță.
Cea mai simplă soluție de vizionare este gata, cu o variantă de rezervă în cazul în care transmisia se întrerupe. Vrei să parcurgem pașii împreună cu bunica ta?
Pregătirea meselor pentru un părinte care se adaptează după un diagnostic recent de diabet
Ajută-mi părintele să se adapteze după un diagnostic recent de diabet, cu un plan practic de îngrijire și alimentație.
Planul pentru prima săptămână este gata și include mese, mementouri și întrebări pentru echipa medicală. Vrei să-l verificăm împreună înainte să i-l trimiți părintelui tău?
Cele mai recente modele ale noastre obțin scoruri foarte mari la multe sarcini LifeVal.
În ultimul an, ne-am instruit modelele să fie mult mai rapide, mai capabile și mai bine aliniate cu intențiile utilizatorilor în sarcinile care implică utilizarea browserului, a computerului și a conectorilor. Activarea acestor capacități în ChatGPT extinde și gama de sarcini la care modelul poate ajuta, transformând ChatGPT dintr-un instrument de conversație într-un asistent personal cu adevărat capabil să acționeze autonom.
De ce contează
Pentru a ne asigura că AGI aduce beneficii întregii umanități, trebuie să măsurăm și accelerăm progresul modelelor în aspectele care contează în viața oamenilor obișnuiți. Asta înseamnă să depășim nivelul evaluărilor academice ale cunoștințelor modelelor și să măsurăm efectiv cât de bine pot modelele IA să ajute utilizatorii să ia decizii, să-și gestioneze responsabilitățile cotidiene și să ducă la bun sfârșit sarcinile importante. Sperăm că LifeVal reprezintă un pas către acest obiectiv.
