LifeVal
AI-vooruitgang meten bij taken die ertoe doen in het dagelijks leven.
De missie van OpenAI is ervoor te zorgen dat kunstmatige algemene intelligentie de hele mensheid ten goede komt. Voor de ruim één miljard mensen die ChatGPT nu wekelijks gebruiken, willen we AI ontwikkelen die kan helpen bij praktische uitdagingen in het dagelijks leven, zoals kinderopvang vinden, overheidsdiensten gebruiken, een budget opstellen, voorbereidingen voor school treffen, recepten aanpassen, boodschappen bestellen, trainingsschema's maken en meer.
Wie hulp zoekt om het leven makkelijker te maken, heeft meer nodig dan advies of een antwoord in een chat. Om een echt nuttige persoonlijke assistent te zijn, moet ChatGPT handelingen kunnen uitvoeren die daadwerkelijk iets voor elkaar krijgen.
Om de prestaties van modellen bij alledaagse taken door de tijd heen te meten, hebben we een evaluatie ontwikkeld met taken op de gebieden waarop gebruikers de meeste hulp van AI en persoonlijke agents wilden. Met deze evaluatie hebben we het afgelopen jaar de verbetering van modelprestaties bij alledaagse taken gevolgd en gestimuleerd.
Achtergrond
Om vast te stellen welke taken mensen het belangrijkst vinden, zijn we begonnen met twee grote onderzoeken die bijhouden hoe mensen hun tijd besteden, zowel in de VS als internationaal: de American Time Use Survey(opent in een nieuw venster) en de Multinational Time Use Study(opent in een nieuw venster). Samen bieden deze datasets een gedetailleerd overzicht van alledaagse taken die mensen uitvoeren, uitgesplitst naar bevolkingsgroep, tijdstip en seizoen. Om te begrijpen waarbij mensen AI-hulp het meest zouden waarderen, hebben we deze bestaande onderzoeken aangevuld met een nieuwe, demografisch representatieve enquête onder 3.995 respondenten. Voor elke taak stelden we verschillende vragen om te bepalen op welke gebieden mensen in hun dagelijks leven het liefst hulp van een persoonlijke assistent wilden. De geselecteerde taken bestrijken de belangrijkste gebieden waarop mensen hulp willen, waaronder zorg voor anderen, gezondheid, onderwijs, huishoudelijke administratie, persoonlijke financiën, winkelen en het gebruik van overheidsdiensten.
Voorbeelden van afzonderlijke taken
Hieronder staan enkele voorbeelden van hoe onze huidige modellen presteren bij praktische taken uit het dagelijks leven.
Inschrijven bij de juiste kleuterschool na een verhuizing
Vergelijk kleuterscholen in de buurt van ons nieuwe huis en maak een selectie van de beste opties.
Ik heb drie kleuterscholen geselecteerd en de inschrijfgegevens op een rij gezet. Over twee voorkeuren moet je nog beslissen. Wil je de selectie bekijken?
Vrijwilligers coördineren in aanloop naar een overstroming
Help me de vrijwilligers uit onze buurt te organiseren om vier buren te helpen hun huis tegen overstromingen te beschermen.
Ik heb een eenvoudig actieplan opgesteld waarmee vrijwilligers de genoemde locaties kunnen beoordelen en zich kunnen voorbereiden op het naderende noodweer.
Een nieuw huis vinden voor mijn gezin
Zoek een huis in Luzerne County dat binnen mijn budget past, een aparte wooneenheid heeft en vanwaar ik snel op mijn werk ben nadat ik de kinderen naar school heb gebracht. Voeg de eigendomsakte toe aan mijn winkelwagen zodat ik die kan bekijken.
Ik heb één huis gevonden dat aan je eisen voldoet. Ik heb de overdrachtsbelasting berekend en de eigendomsakte aan je winkelwagen bij het countyarchief toegevoegd, zodat je die kunt bekijken.
Op afstand samen met oma een wedstrijd kijken
Regel een eenvoudige manier waarop oma en ik op afstand samen de wedstrijd kunnen kijken.
De eenvoudigste kijkoplossing staat klaar, met een alternatief voor als de stream uitvalt. Zal ik het jou en oma stap voor stap uitleggen?
Maaltijden voorbereiden voor een ouder die moet wennen aan een recente diabetesdiagnose
Help mijn ouder wennen aan de recente diabetesdiagnose met een praktisch zorg- en maaltijdplan.
Het plan voor de eerste week is klaar, inclusief maaltijden, herinneringen en vragen voor het zorgteam. Wil je het samen doornemen voordat je het met je ouder deelt?
Onze nieuwste modellen scoren zeer hoog op veel LifeVal-taken.
Het afgelopen jaar hebben we onze modellen getraind om veel sneller en vaardiger te werken en beter aan te sluiten op gebruikersdoelen bij taken met browsers, computers en connectors. Door deze mogelijkheden in ChatGPT beschikbaar te maken, kan het model bij meer soorten taken helpen. Zo ontwikkelt ChatGPT zich van een chattool tot een persoonlijke assistent die echt zelfstandig kan handelen.
Waarom dit belangrijk is
Om ervoor te zorgen dat AGI de hele mensheid ten goede komt, moeten we de vooruitgang van modellen meten en bevorderen op gebieden die ertoe doen in het dagelijks leven van mensen. Dat betekent dat we verder moeten kijken dan academische toetsen van modelkennis en daadwerkelijk moeten meten hoe goed AI-modellen mensen kunnen helpen beslissingen te nemen, dagelijkse verantwoordelijkheden te dragen en zinvolle dingen voor elkaar te krijgen. We hopen dat LifeVal een stap in die richting is.
