LifeVal
Vi mäter AI:s framsteg i de uppgifter som är viktiga i vardagen.
OpenAI:s uppdrag är att se till att artificiell generell intelligens gynnar hela mänskligheten. För de över en miljard människor som i dag använder ChatGPT varje vecka vill vi bygga AI som kan hjälpa till med vardagens praktiska utmaningar: att hitta barnomsorg, ta del av myndighetstjänster, göra en budget, förbereda sig inför skolan, anpassa recept, beställa matvaror, skapa träningsprogram och mycket annat.
Den som vill ha hjälp att göra livet enklare behöver mer än råd eller ett svar i en chatt. För att vara en verkligt hjälpsam personlig assistent bör ChatGPT kunna agera och faktiskt få saker gjorda.
För att mäta hur modellernas förmåga att lösa vardagsuppgifter utvecklas över tid tog vi fram en utvärdering med uppgifter inom de områden där användarna mest ville ha hjälp av AI och personliga agenter. Under det senaste året har vi använt utvärderingen för att följa och driva förbättringar av modellernas resultat på vardagsuppgifter.
Bakgrund
För att identifiera vilka uppgifter människor värdesätter mest utgick vi från två stora studier som kartlägger hur människor använder sin tid i USA och internationellt: American Time Use Survey(öppnas i ett nytt fönster) och Multinational Time Use Study(öppnas i ett nytt fönster). Tillsammans ger dessa datamängder en detaljerad översikt över människors vardagssysslor i olika befolkningsgrupper, vid olika tider på dygnet och under olika årstider. För att förstå var människor skulle ha störst nytta av AI-hjälp kompletterade vi de befintliga undersökningarna med en ny, demografiskt representativ enkät med 3 995 deltagare. För varje uppgift ställde vi flera frågor för att identifiera inom vilka områden människor helst ville ha hjälp av en personlig assistent i sin vardag. De utvalda uppgifterna täcker de viktigaste områdena där människor vill ha hjälp, däribland omsorg, hälsa, utbildning, hushållsadministration, privatekonomi, inköp och myndighetskontakter.
Exempel på enskilda uppgifter
Här är några exempel på hur våra nuvarande modeller klarar praktiska uppgifter i vardagen.
Ansök om plats på rätt förskola efter flytten
Jämför förskolor nära vårt nya hem och välj ut dem som passar bäst.
Jag har valt ut tre förskolor och sammanställt informationen om ansökan. Du behöver fortfarande ta ställning till två val. Vill du gå igenom de utvalda alternativen?
Samordna volontärer inför en översvämning
Hjälp mig att samordna volontärerna i vårt område inför en översvämning så att fyra grannar får hjälp att skydda sina hem.
Jag har tagit fram en enkel handlingsplan som hjälper volontärerna att bedöma de nämnda platserna och förbereda sig inför det kommande ovädret.
Hitta ett nytt hem åt min familj
Hitta en bostad i Luzerne County som ryms inom min budget, har en separat bostadsdel och ger mig kort restid till jobbet efter lämning på skolan. Lägg köpehandlingen i min kundvagn så att jag kan granska den.
Jag hittade en bostad som uppfyller dina krav. Jag har beräknat överlåtelseskatten och lagt köpehandlingen i din kundvagn hos det lokala fastighetsregistret så att du kan granska den.
Titta på en match med mormor på distans
Ordna ett enkelt sätt för mormor och mig att titta på matchen tillsammans på distans.
Den enklaste lösningen för att titta tillsammans är klar, med ett reservalternativ om strömningen slutar fungera. Vill du att jag går igenom den med dig och mormor?
Förbered måltider åt en förälder som nyligen fått en diabetesdiagnos
Hjälp min förälder att anpassa sig till en ny diabetesdiagnos med en praktisk vård- och måltidsplan.
Planen för första veckan är klar, med måltider, påminnelser och frågor till vårdteamet. Vill du gå igenom den tillsammans innan du delar den med din förälder?
Våra senaste modeller får mycket höga resultat på många av uppgifterna i LifeVal.
Under det senaste året har vi tränat våra modeller så att de blivit mycket snabbare, mer kapabla och bättre på att följa användarens avsikter i uppgifter som kräver webbläsare, datoranvändning och anslutningar. När dessa förmågor blir tillgängliga i ChatGPT kan modellen hjälpa till med fler typer av uppgifter. Det tar ChatGPT från ett chattverktyg mot en personlig assistent som verkligen kan agera på egen hand.
Därför är det viktigt
För att säkerställa att AGI gynnar hela mänskligheten behöver vi mäta och förbättra modellernas förmåga inom det som är viktigt i människors vardag. Det innebär att gå bortom akademiska bedömningar av modellernas kunskaper och faktiskt mäta hur väl AI-modeller kan hjälpa människor att fatta beslut, hantera vardagens ansvar och få meningsfulla saker gjorda. Vi hoppas att LifeVal är ett steg mot det målet.
