LifeVal
Vi måler AIs fremgang på oppgavene som betyr noe i hverdagen.
OpenAIs mål er å sikre at kunstig generell intelligens kommer hele menneskeheten til gode. For de over én milliard menneskene som nå bruker ChatGPT hver uke, vil vi bygge AI som kan hjelpe med hverdagens praktiske utfordringer, som å finne barnepass, få tilgang til offentlige tjenester, lage et budsjett, forberede seg til skolen, tilpasse oppskrifter, bestille dagligvarer, lage treningsplaner og mer.
Når noen søker hjelp til å gjøre livet enklere, trenger de mer enn råd eller et svar i en chat. For å være en virkelig nyttig personlig assistent bør ChatGPT kunne utføre handlinger som faktisk får ting gjort.
For å måle modellenes ytelse på hverdagsoppgaver over tid utviklet vi en evaluering med oppgaver fra områdene der brukerne ønsket mest hjelp fra AI og personlige agenter. Det siste året har vi brukt denne evalueringen til å følge med på og drive frem forbedringer i modellenes ytelse på hverdagsoppgaver.
Bakgrunn
For å identifisere oppgavene folk verdsetter mest, tok vi utgangspunkt i to store undersøkelser som kartlegger hvordan folk bruker tiden sin i USA og internasjonalt: den amerikanske tidsbruksundersøkelsen(åpnes i et nytt vindu) og den flernasjonale tidsbruksstudien(åpnes i et nytt vindu). Til sammen gir disse datasettene en detaljert oversikt over hverdagsoppgaver som folk utfører på tvers av demografiske grupper, tider på døgnet og årstider. For å forstå hvor folk ville sette mest pris på AI-hjelp, supplerte vi disse eksisterende undersøkelsene med en ny, demografisk representativ undersøkelse med 3 995 respondenter. For hver oppgave stilte vi en rekke spørsmål for å identifisere områdene der folk flest ønsket mest hjelp fra en personlig assistent. Oppgavene vi kom frem til, dekker de viktigste områdene folk ønsker hjelp med, blant annet omsorg, helse, utdanning, organisering av hjem og hverdag, privatøkonomi, innkjøp og tilgang til offentlige tjenester.
Eksempler på enkeltoppgaver
Nedenfor er noen eksempler på hvordan de nåværende modellene våre utfører praktiske oppgaver fra hverdagen.
Søk plass i riktig barnehage etter flytting
Sammenlign barnehager nær det nye hjemmet vårt og lag en kortliste over dem som passer best.
Jeg har snevret det inn til tre barnehager og samlet informasjonen om opptak. Du må fortsatt ta stilling til to preferanser. Vil du se gjennom kortlisten?
Koordiner frivillige før en flom
Hjelp meg med å organisere de frivillige i nærmiljøet som skal bistå fire naboer med flomsikring.
Jeg har laget en enkel handlingsplan som hjelper de frivillige med å vurdere de nevnte stedene og forberede seg på det kommende uværet.
Finn et nytt hjem til familien min
Finn en bolig i Luzerne County som passer budsjettet mitt, har en separat boenhet og gir meg kort reisevei til jobb etter levering på skolen. Legg skjøtet i handlekurven min, så jeg kan se gjennom det.
Jeg fant én bolig som oppfyller kravene dine. Jeg har beregnet overføringsavgiften og lagt skjøtet i handlekurven din hos fylkets eiendomsregister, så du kan se gjennom det.
Se en kamp sammen med bestemor på avstand
Sett opp en enkel løsning så bestemor og jeg kan se kampen sammen på avstand.
Den enkleste løsningen for å se kampen er klar, med en reserveplan hvis strømmingen svikter. Vil du at jeg skal gå gjennom den med deg og bestemor?
Forbered måltider for en forelder som tilpasser seg en ny diabetesdiagnose
Hjelp en av foreldrene mine med å tilpasse seg en ny diabetesdiagnose med en praktisk plan for oppfølging og måltider.
Planen for den første uken er klar, med måltider, påminnelser og spørsmål til behandlingsteamet. Vil du at vi ser gjennom den sammen før du deler den med forelderen din?
De nyeste modellene våre får svært høye resultater på mange LifeVal-oppgaver.
Det siste året har vi trent modellene våre til å bli mye raskere, mer kompetente og bedre tilpasset brukernes hensikter i oppgaver som involverer nettleserbruk, datamaskinbruk og tilkoblinger. Når vi gjør disse funksjonene tilgjengelige i ChatGPT, kan modellen også hjelpe med flere typer oppgaver. Det tar ChatGPT fra å være et chatteverktøy til å bli en personlig assistent som virkelig kan handle på dine vegne.
Hvorfor dette er viktig
For å sikre at AGI kommer hele menneskeheten til gode, må vi måle og forbedre modellenes ytelse på det som betyr noe i vanlige menneskers liv. Det betyr at vi må gå utover akademiske vurderinger av modellenes kunnskap og faktisk måle hvor godt AI-modeller kan hjelpe folk med å ta valg, håndtere daglige forpliktelser og få gjort ting som betyr noe. Vi håper at LifeVal er et skritt mot det målet.
