LifeVal

OpenAI의 사명은 범용 인공지능이 모든 인류에게 혜택을 주도록 하는 것입니다. 현재 매주 ChatGPT를 사용하는 10억 명 이상의 사람들을 위해, 아이 돌봄 서비스 찾기, 정부 서비스 이용, 예산 수립, 학교생활 준비, 레시피 조정, 식료품 주문, 운동 계획 수립 등 일상의 실질적인 문제를 해결하는 데 도움이 되는 AI를 만들고자 합니다.

생활을 더 편리하게 만들기 위해 도움을 구하는 사람에게는 조언이나 대화형 답변 이상의 것이 필요합니다. 진정으로 유용한 개인 비서가 되려면 ChatGPT는 실제로 일을 처리하는 행동을 할 수 있어야 합니다.

일상생활에서 수행하는 작업에 대한 모델 성능이 시간이 지나면서 어떻게 달라지는지 측정하기 위해, 사용자들이 AI와 개인 에이전트에게 가장 많은 도움을 원했던 분야의 작업들로 평가를 구성했습니다. 지난 1년간 이 평가를 활용해 일상 작업에서의 모델 성능 변화를 추적하고 개선을 이끌었습니다. 

사람들이 가장 중요하게 여기는 작업을 파악하기 위해 미국과 여러 나라에서 사람들이 시간을 어떻게 쓰는지 추적하는 두 가지 대규모 연구, 미국 생활시간 조사⁠(새 창에서 열기)와 다국가 생활시간 연구⁠(새 창에서 열기)를 출발점으로 삼았습니다. 이 두 데이터셋을 종합하면 인구 집단, 시간대, 계절에 따라 사람들이 수행하는 일상생활 작업을 상세히 파악할 수 있습니다. 사람들이 어떤 분야에서 AI의 도움을 가장 가치 있게 여기는지 알아보기 위해, 인구통계학적 대표성을 갖춘 응답자 3,995명을 대상으로 새로운 설문을 진행해 기존 조사를 확장했습니다. 각 작업에 대해 다양한 질문을 던져, 일반인들이 개인 비서의 도움을 가장 원하는 분야를 파악했습니다. 이렇게 도출한 작업들은 돌봄, 건강, 교육, 가정의 행정 업무, 개인 재무, 쇼핑, 정부 서비스 이용 등 사람들이 도움받기를 원하는 핵심 분야 전반에 걸쳐 있습니다. 

최신 모델들은 많은 LifeVal 작업에서 매우 높은 점수를 기록하고 있습니다.

AGI가 모든 인류에게 혜택을 주도록 하려면, 일반인들의 삶에서 중요한 영역을 중심으로 모델의 발전을 측정하고 성능을 개선해야 합니다. 즉, 모델의 지식에 대한 학술적 평가를 넘어, AI 모델이 사람들의 의사결정과 일상적인 책임 수행, 의미 있는 일의 완수를 얼마나 잘 돕는지 실제로 측정해야 합니다. LifeVal이 그 목표를 향한 한 걸음이 되기를 기대합니다.