LifeVal
Vi måler AI's fremskridt på de opgaver, der betyder noget i hverdagen.
OpenAI's mission er at sikre, at kunstig generel intelligens kommer hele menneskeheden til gode. For de mere end en milliard mennesker, der i dag bruger ChatGPT hver uge, vil vi udvikle AI, der kan hjælpe med hverdagens praktiske udfordringer: finde børnepasning, få adgang til offentlige tilbud, lægge et budget, forberede sig til skole, tilpasse opskrifter, bestille dagligvarer, lave træningsplaner og meget mere.
Når nogen søger hjælp til at gøre livet lettere, har de brug for mere end råd eller et svar i en chat. For at være en virkelig nyttig personlig assistent skal ChatGPT kunne handle og rent faktisk få tingene gjort.
For at måle modellernes resultater på hverdagsopgaver over tid udviklede vi en evaluering med opgaver inden for de områder, hvor brugerne ønskede mest hjælp fra AI og personlige agenter. I det seneste år har vi brugt denne evaluering til at følge og fremme forbedringer i modellernes resultater på hverdagsopgaver.
Baggrund
For at finde frem til de opgaver, folk lægger størst vægt på, tog vi udgangspunkt i to store undersøgelser af, hvordan folk bruger deres tid i USA og internationalt: den amerikanske tidsanvendelsesundersøgelse(åbner i et nyt vindue) og den multinationale tidsanvendelsesundersøgelse(åbner i et nyt vindue). Tilsammen giver disse datasæt en detaljeret oversigt over de hverdagsopgaver, folk udfører på tværs af befolkningsgrupper, tidspunkter på dagen og årstider. For at forstå, hvor folk ville sætte størst pris på hjælp fra AI, supplerede vi disse eksisterende undersøgelser med en ny, demografisk repræsentativ spørgeskemaundersøgelse med 3.995 deltagere. For hver opgave stillede vi en række spørgsmål for at afdække de områder, hvor almindelige mennesker helst ville have hjælp fra en personlig assistent. De udvalgte opgaver dækker de vigtigste områder, som folk ønsker hjælp til, herunder omsorg, sundhed, uddannelse, praktisk administration i hjemmet, privatøkonomi, indkøb og adgang til offentlige tilbud.
Eksempler på enkelte opgaver
Her er nogle eksempler på, hvordan vores nuværende modeller klarer praktiske opgaveforløb fra hverdagen.
Skriv dit barn op til den rette børnehave efter flytningen
Sammenlign børnehaver i nærheden af vores nye hjem, og udvælg dem, der passer bedst.
Jeg har udvalgt tre børnehaver og samlet oplysningerne om indskrivning. Der er stadig to ting, du skal tage stilling til. Vil du gennemgå de udvalgte børnehaver?
Koordiner frivillige før en oversvømmelse
Hjælp mig med at organisere vores lokale frivillige, så de kan hjælpe fire naboer med at sikre deres hjem mod oversvømmelse.
Jeg har lavet en enkel handlingsplan, som hjælper de frivillige med at vurdere de nævnte steder og forberede dem på det kommende uvejr.
Find et nyt hjem til min familie
Find en bolig i Luzerne County, der passer til mit budget, har en separat boligenhed og giver mig kort transporttid til arbejde, når jeg har afleveret børn i skolen. Læg skødet i min indkøbskurv, så jeg kan gennemgå det.
Jeg har fundet én bolig, der opfylder dine krav. Jeg har beregnet afgiften ved ejerskifte og lagt skødet i din indkøbskurv hos amtets ejendomsregister, så du kan gennemgå det.
Se en kamp sammen med bedstemor på afstand
Find en nem løsning, så bedstemor og jeg kan se kampen sammen på afstand.
Den nemmeste løsning til at se kampen er klar, med en reserveplan, hvis streamingen svigter. Skal jeg gennemgå den med dig og bedstemor?
Forbered måltider til en forælder, der skal omstille sig til en ny diabetesdiagnose
Hjælp min forælder med at omstille sig til en ny diabetesdiagnose med en praktisk pleje- og madplan.
Planen for den første uge er klar med måltider, påmindelser og spørgsmål til behandlerteamet. Vil du gennemgå den sammen med mig, før du deler den med din forælder?
Vores nyeste modeller opnår meget høje scorer på mange LifeVal-opgaver.
I løbet af det seneste år har vi trænet vores modeller til at løse opgaver med browsere, computere og connectors langt hurtigere og bedre og i højere grad i tråd med brugernes intentioner. Når disse funktioner bliver tilgængelige i ChatGPT, kan modellen også hjælpe med flere typer opgaver. Det er med til at gøre ChatGPT til mere end et chatværktøj: en personlig assistent, der reelt kan handle på dine vegne.
Derfor er det vigtigt
For at sikre, at AGI kommer hele menneskeheden til gode, skal vi måle og fremme modellernes fremskridt på de områder, der betyder noget i almindelige menneskers liv. Det betyder, at vi skal gå videre end akademiske vurderinger af modellernes viden og faktisk måle, hvor godt AI-modeller kan hjælpe folk med at træffe beslutninger, håndtere hverdagens forpligtelser og få gjort ting, der betyder noget. Vi håber, at LifeVal er et skridt på vejen mod det mål.
