AI 시스템이 더욱 강력해지고 자율성이 높아짐에 따라, 정렬 연구 역시 그 속도를 따라가고 다양성도 함께 확대되어야 합니다. OpenAI는 사명 수행에 필수적인 최전선 정렬 및 안전 연구에 적극적으로 투자하고 있습니다. 또한 AGI가 모두에게 안전하고 유익하도록 보장하는 일은 단일 조직만으로는 달성할 수 없다고 믿으며, 최전선 연구소 밖에서도 수행될 수 있는 독립 연구와 개념적 접근을 지원하고자 합니다. 우리는 AI의 미래가 누군가의 예측대로 펼쳐지지는 않을 것이라 믿으며, 훨씬 더 많은 사람들이 그 결과를 형성하는 데 참여해야 한다고 생각합니다.
오늘 우리는 UK AI Security Institute (UK AISI)가 설립한 독립 정렬 연구를 위한 글로벌 펀드인 The Alignment Project(새 창에서 열기)에 750만 달러의 보조금을 지원한다고 발표합니다. Renaissance Philanthropy는 이번 보조금의 운영을 지원합니다. 이번 기여는 The Alignment Project가 현재까지 독립 정렬 연구를 위한 가장 큰 규모의 전용 자금 지원 노력 중 하나가 되도록 돕고, 보다 광범위한 독립 생태계를 강화합니다.
OpenAI와 같은 최전선 연구소는 최첨단 모델과 대규모 컴퓨팅 자원에 대한 접근을 필요로 하는 정렬 연구를 수행할 수 있는 독보적인 위치에 있으며, 이러한 연구는 독립 연구자들이 탐구하기 어려운 경우가 많습니다. 우리는 정렬의 진전이 성능 향상의 속도를 따라갈 수 있도록 확장 가능한 방법을 개발하는 데 내부 정렬 연구의 상당 부분을 투자하고 있습니다. 우리는 반복적 배포, 즉 안전장치를 강화하면서 점진적으로 성능을 향상시키는 접근이 문제를 조기에 드러내고 실제로 무엇이 효과적인지에 대한 구체적 근거를 제공한다고 믿으며, 책임 있는 개발에는 모델 구축 및 배포와 긴밀히 통합된 상당한 수준의 정렬 및 안전 작업이 필요하다고 생각합니다.
동시에 이 분야는 아이디어의 영역을 확장하고 새로운 방향을 발굴할 수 있는 독립적이고 탐색적인 연구에 대한 지속적인 투자의 혜택을 받습니다. 독립 연구는 여전히 필수적이며, 많은 유의미한 연구 분야에서 연구소가 항상 비교 우위를 갖는 것은 아닙니다. 건강한 정렬 생태계는 다양한 가정을 검증하고 대안적 프레임워크를 개발하며, 특정 조직의 로드맵에 꼭 맞지 않을 수 있는 개념적·이론적·미래지향적 아이디어를 탐구하는 독립 팀들에 달려 있습니다.
또한 AGI로의 진전은 궁극적으로 정렬 문제의 구조를 바꾸고 어떤 접근이 가장 유용한지를 재정의하는 근본적인 돌파구에 달려 있을 수 있기 때문에, 오늘날의 지배적인 방법이 기대한 방식으로 확장되지 않더라도 의미를 가질 수 있는 연구를 지원하는 것이 중요합니다. 그러한 상황에서는 기초적이고 개념적이며 상관관계에 얽매이지 않는 연구를 수행하는 강력한 외부 생태계가 특히 중요해집니다. AI 정렬과 안전 문제는 전례 없이 중요한 사안이며, 성능이 계속 발전하는 가운데 어떤 접근이 가장 지속력을 가질지 아직 알 수 없기 때문에 모두의 참여가 필요합니다.
현재 환율 기준 약 560만 파운드에 해당하는 이번 보조금은 공공, 자선 및 산업 분야의 다른 후원자들과 함께 The Alignment Project를 공동 지원(새 창에서 열기)합니다. 총 펀드 규모는 2,700만 파운드를 초과하며, 계산 복잡도 이론, 경제 이론 및 게임 이론, 인지과학, 정보 이론 및 암호학 등 다양한 주제를 아우르는 전 세계 정렬 연구 프로젝트의 폭넓은 포트폴리오를 지원하도록 설계되었습니다. 개별 프로젝트는 일반적으로 5만 파운드에서 100만 파운드 사이의 자금을 지원받으며, 선택적으로 컴퓨팅 자원과 전문가 지원 또한 제공될 수 있습니다.
이번 자금 지원은 새로운 프로그램이나 선정 절차를 만드는 것도 아니고, 기존 절차에 영향을 미치는 것도 아닙니다. 대신 이미 검토를 거쳐 검증된 고품질 프로젝트(새 창에서 열기) 중에서 이번 라운드에 지원받을 수 있는 프로젝트의 수를 늘리는 것입니다.
UK AISI는 이와 같은 규모와 범위의 정렬 자금을 운용하기에 적합한 위치에 있습니다. 정부, 학계, 자선 단체, 산업계를 아우르는 확립된 범부문 연합을 보유하고 있으며, 이미 진행 중인 보조금 지원 절차와 전문가 검토를 거친 다수의 제안서를 갖추고 있습니다. 또한 과학·혁신·기술부(DSIT) 산하의 영국 정부 연구 기관으로서 중대한 AI 위험에 초점을 맞춘 임무를 수행하며, 연구 자금 지원 프로그램을 운영한 경험도 갖추고 있습니다.
AI의 미래는 누구의 예측대로 정확히 전개되지 않을 수 있으며 매우 빠르게 발전할 수도 있기 때문에, 우리는 민주화, “AI 회복탄력성,” 그리고 반복적 배포가 필수적이라고 믿습니다. OpenAI가 최전선 정렬 및 안전 연구를 계속 발전시키는 가운데, 성능이 향상됨에 따라 상호 보완적 접근을 추구하는 강건하고 다양한 독립 생태계가 진전에 큰 도움이 될 것입니다. 이번 보조금은 그 목표를 향한 한 걸음입니다. 이 분야가 발전함에 따라 더 넓은 연구 커뮤니티와 지속적으로 협력하기를 기대합니다.
