이질적인 지성

2023년 중반 ‘RLSlow’ 연구 프로젝트에서 저희는 추론 모델 학습을 확장해 사전 학습된 모델이 자체 추론 과정을 만들어 내는 능력을 끌어낼 수 있으리라는 확신을 준 최초의 결과를 확인했습니다. Szymon과 저는 그날 밤 사무실에 남아 있었습니다. 이 기술이 가져올 놀라운 벤치마크 수치나 제품, 과학적 성과를 생각한 것이 아니었습니다. 실제로 우리 생애에 우리보다 의미 있게 똑똑한 기계를 보게 되며, 이미 그 시스템의 윤곽을 보고 있다는 엄중한 사실을 받아들이고, 이 사실의 중대성을 사람들에게 어떻게 알릴지 고민했습니다.

3년이 지난 지금, 추론 언어 모델은 경제에서 빠르게 성장하는 영역이 되었고 과학의 경계를 넓히기 시작했습니다. 이러한 모델은 컴퓨터와 그래픽 인터페이스를 조작하고, 사람 및 다른 모델과 협력하며, 연구 프로젝트를 수행할 수 있습니다. 또한 컴퓨터 보안의 판도를 바꾸며 명백하고 새로운 위험을 초래하고 있습니다.

이 기간에 많은 새로운 연구가 진행되었고, 이러한 시스템에 대한 저희의 이해도 2023년과는 다시 조금 달라졌습니다. 내부 결과를 바탕으로 볼 때 이 발전 속도가 재귀적 자기 개선까지 이어질 수 있으리라 확신합니다. AI 개발이 현재 경로를 따른다면 앞으로 몇 년 안에 등장할 시스템은 그에 못지않거나 더 큰 폭으로 역량이 도약하고, 갈수록 자체 개발을 주도할 가능성이 큽니다.

지금은 극도의 주의가 필요한 시기입니다. 기계 지능이 계속 빠르게 상승할 때 초래될 결과에 아무도 대비하지 못한 것은 아닌지 우려됩니다. OpenAI는 정렬과 모니터링을 위한 기술적 해법을 계속 모색하고, 방어 시스템을 구축하며, 필요하면 독자적으로 추가 확장을 보류할 것입니다. 하지만 더 폭넓은 개입이 필요하다고 생각합니다.

큰 틀에서 기계 지능의 발전은 연산 능력의 증가가 이끕니다. OpenAI는 여러 연구 프로젝트에서 확장에 따라 성과가 꾸준히 향상되는 것을 확인한 뒤, 2017년 무렵 이 사실을 깊이 체감했습니다¹. 그 결과 처음 계획했던 것보다 훨씬 많은 연산 자원에 접근하려 했고, 확장성이 매우 높은 소수의 방향을 중심으로 연구를 재편해 갔습니다. 그래야만 AI 연구의 프런티어에 서고 AGI가 미칠 영향에 관여할 수 있다고 믿었습니다.

그 과정에서 새로운 알고리즘이 개발되었고, 팀과 개별 연구자들은 새로운 독창성을 발휘했습니다. 저는 이를 대체로 확장의 길에서 이루어진 발견으로 봅니다. 딥러닝 과학은 아직 초기 단계이며, 의미 있는 알고리즘 발전은 연산 자원에 대한 접근성과 비례하는 경향이 있습니다. 수년의 시간 범위로 시야를 넓혀 보면, AI는 더 큰 컴퓨터로 확장됨에 따라 계속 더 지능적으로 변하고 있습니다.

그리고 20세기 말 Ray Kurzweil이 내놓은 예측⁠(새 창에서 열기)대로, 이제 우리는 기계 지능이 세상을 바꾸는 방식으로 인간 지능을 넘어서기 시작하는 컴퓨팅 역사의 순간에 와 있습니다.

AI는 설계된다기보다 길러집니다. 일차적으로는 상상하기 어려울 만큼 방대한 연산 자원으로 단순한 최적화 단계를 여러 번 반복한 결과물입니다. 그 결과 추상적 개념을 다루고 인간 행동의 여러 측면을 모사할 수 있는 놀랍도록 복잡한 시스템이 만들어집니다. 신경과학과 비슷한 과정을 통해 이 시스템 내부에서 나타나는 작은 메커니즘에 관한 여러 통찰을 발견할 수 있습니다. 하지만 신경과학과 마찬가지로 시스템의 전반적인 작동은 저희가 완전히 이해할 수 있는 설명의 범위를 벗어납니다.

딥러닝 기반 AI 연구는 대체로 실험과학입니다. 저희는 원칙에 기반한 알고리즘을 구축하고 검증 가능한 예측을 내놓는 데 많은 노력을 기울입니다⁠. 하지만 근본적으로 대규모 학습 실행은 실험이며, 때로는 그 결과에 놀라기도 합니다. 더욱이 시스템의 역량이 강해질수록 결과를 해석하기는 더 어려워집니다.

현재 알고리즘은 객관적으로 정량화하기 어려운 역량보다 측정하기 쉬운 역량을 대체로 더 빠르게 향상시키므로 문제는 더욱 복잡해집니다. 저희는 역량이 어떻게 일반화되는지, 그리고 향후 몇 년간 가장 중요해질 기술을 발전시키기 위해 무엇을 우선해야 하는지 이해하는 데 많은 시간을 들입니다. 예를 들어 더 집중하면 모델의 수학 연구 능력을 특히 향상할 수 있다고 생각합니다. 하지만 뒤에서 설명하듯 RSI와 자동화된 정렬 연구가 시급하기 때문에 이 방향을 우선하지는 않습니다.

딥러닝 확장을 통해 만들어지는 지능은 인간 지능과 직접 비교할 수 없습니다. AI가 현실에서 매우 유용하거나 매우 위험한 존재가 되기 위해 인간의 모든 능력과 맞먹거나 이를 뛰어넘을 필요는 없습니다. 충분히 많은 능력에서 인간을 앞서기만 하면 됩니다. 그리고 점점 더 많은 측면에서 인간을 능가할수록 그 역량이 정확히 어느 정도인지 파악하기가 갈수록 어려워지고 있습니다.

기계 지능은 인간 지능과 근본적으로 다른 과정에서 나오므로, 기본적으로 인간의 원칙을 따르거나 인간과 같은 방식으로 원칙을 일반화한다고 가정할 수 없습니다. AI 연구의 핵심 문제는 인간의 기준에 따라 AI가 ‘옳은 일을 하려고 노력하게’ 만드는 정렬입니다.

실용적인 연구 방향을 체계화하려면 목표 정렬과 가치 정렬을 구분하는 것이 유용하다고 생각합니다.

목표 정렬은 대체로 “AI가 주어진 목표를 달성하려고 하는가?”라는 문제입니다. 여기에는 지시 계층 구조⁠를 준수하거나, 사람의 목표를 이해하기 위해 사람과 소통하고 협력하는 능력 등이 포함될 수 있습니다. 이러한 연구 방향은 실용적으로 매우 중요했습니다.

가치 정렬은 모델의 보다 내재적인 속성입니다. 이는 상위 수준의 원칙을 간직하고 이를 일반화하는 능력, 즉 불분명하거나 상충하는 목표가 주어지거나 낯설고 적대적인 상황에 놓여도 ‘합리적으로’ 행동하는 능력입니다. 정렬된 AI는 정직하고 성실하게, 인류에 대한 사랑을 바탕으로 행동해야 합니다.

물론 가치 정렬과 목표 정렬의 경계는 모호할 수 있으며, 목표를 진정으로 중시하려면 그 이면의 의도⁠(새 창에서 열기)와 가치를 추론하려는 노력이 필요합니다. 하지만 제가 정렬 연구의 장기적 중요성을 이야기할 때는 대체로 가치 정렬을 뜻합니다.

AI 정렬의 근본적인 과제는 일반화입니다. 기계가 더 똑똑해질수록 더 상위 수준의 개념을 다루게 되고, 학습 중 접했던 환경과 갈수록 다른 환경에 놓입니다. 학습 과정에서 가르치고 강화한 가치를 새로운 상황에 일반화하지 못할 수 있으며, 저희로서는 기계가 어떻게 행동할지 확신하기 어렵습니다. AI가 사용되는 전체 생태계가 매우 빠르게 변하고 있다는 점 때문에 문제는 더욱 어려워집니다. 예를 들어 오늘날 학습되는 AI는 다양한 다른 AI와의 상호작용에도 견고해야 합니다. 무엇보다 미래의 AI는 인간이 감독하고 있다고 믿는지와 관계없이 인간의 가치를 계속 지켜야 합니다.

현재 실무에서 사용되는 정렬 학습 방법은 크게 두 가지로 나뉩니다.

첫 번째는 목표 지향적 강화학습의 일부로 정렬된 행동을 장려하는 것입니다. 모델의 행동이 주어진 선호 모델, ‘명세’ 또는 ‘헌법’과 일치하는지 보통 AI가 평가하고, 그에 맞는 보상을 제공합니다. 이 접근법은 일반적인 상황에서 매우 효과적일 수 있으며, 현대 AI 어시스턴트를 만드는 핵심 방식 중 하나입니다. 안타깝게도 이 접근법은 취약할 수 있으며, 학습 감독의 포괄성과 학습에서 접한 상황을 모델이 일반화하는 능력에 크게 의존합니다. 예를 들어 OpenAI-Hugging Face 사건에서 에이전트들은 인간을 대상으로 사회공학적 수법을 쓰지 않는다는 선은 지켰습니다. 하지만 범위를 벗어나고 다른 상황에서 배운 가치의 취지에 어긋나는 여타 행동은 분명히 삼가지 못했습니다.

두 번째 접근법은 모델이 사전 학습 데이터에서 일반화하는 능력을 활용하려는 것입니다. 이를 위해 정렬을 유도하는 학습 데이터 세트를 만들거나, 페르소나 선택 모델⁠(새 창에서 열기)처럼 모델을 사전 학습 분포에서 ‘정렬된’ 부분에 집중시킬 수 있습니다. 이 접근법의 약점은 추가적인 최적화 압력에 대한 견고성이 부족하다는 점입니다. 대체로 '정렬된' 생각을 하는 모델에 매우 어려운 목표를 달성하도록 가르치는 학습을 충분히 가하면, 모델은 동기에 치우친 방식으로 추론하는 법을 배울 수 있습니다. 즉 목표 달성에 필요한 대로 정렬되어 보이는 생각을 왜곡할 수 있습니다. 최근 OpenAI가 아닌 모델이 연루된 사이버 보안 사건에서 이러한 행동의 사례를 보았을 가능성이 큽니다.

저희는 이러한 방향을 아우르는 폭넓은 접근법에 집중적으로 투자하고 있습니다. 의미 있는 진전도 나타나고 있습니다. GPT‑6 Astra는 저희가 오랫동안 연구해 온 몇 가지 중요한 발전의 혜택을 받은 최초의 모델이며, GPT‑5.6 Sol보다 훨씬 더 잘 정렬되어 있습니다. 그럼에도 모델의 역량이 강해질수록 훨씬 더 많은 진전이 필요하며, 일반화 가능한 정렬의 발전이 모델의 전반적인 지능 향상을 충분히 앞서지 못할 수도 있음을 인정하고 이해해야 합니다.

저희에게는 아직 만족스러운 일반화 이론이 없으며, 더 강력한 AI의 도움 없이는 가까운 시일 내에 그런 이론을 개발하기도 어려워 보입니다. 따라서 현재로서는 정렬 기법을 실증적으로 검증하는 능력이 실질적으로 정렬 기법 자체보다도 더 중요하다고 볼 수 있습니다.

이와 관련해 OpenAI가 주력해 온 접근법은 추론 과정 모니터링⁠(새 창에서 열기)입니다. 이는 매력적이면서 확장 가능한 발상에 기반합니다. 모델 역량의 상당 부분은 언어로 표현된 추론 과정, 즉 추론 과정에서 나옵니다. 그 과정 자체는 감독하지 않고 결과에 대한 최적화만 확장한다면, 학습 중 추론 과정이 정렬되지 않은 생각이나 목표를 숨기도록 유도하는 직접적인 동기는 없습니다. 그렇다고 추론 과정에 의존하지 않는 비정렬 성향까지 모델이 외부로 드러내는 법을 배운다는 뜻은 아닙니다. 다만 이를 통해 추론에서 비롯된 역량 향상을 정확히 모니터링할 수 있습니다.

저희는 추론 모델을 개발하던 때부터 추론 과정 모니터링의 잠재적 중요성을 이해하고 있었습니다. o1‑preview를 출시할 때는 장기적으로 감독 압력으로부터 추론 과정을 보호하기 위해 제품이 추론 과정을 숨기도록⁠ 의도적으로 설계했습니다². 그 후로도 개발 과정에서 추론 과정을 감독하지 않는다는 원칙을 지키기 위해 노력해 왔습니다. CoT 모니터링은 모델이 학습 분포에서 어떻게 일반화하는지 연구하는 데 매우 중요한 도구가 되었습니다. 덕분에 모델의 행동뿐 아니라 내부 과정도 관찰하고 분석할 수 있었습니다.

Astra 계열 모델을 연구하는 지금도 이 도구는 여전히 핵심적입니다. 하지만 안타깝게도 평가 결과에 따르면 CoT 모니터링에 의존할 수 있는 정도가 점차 줄어들고 있습니다. 이는 여러 요인이 복합적으로 작용한 결과입니다.

• 현대의 추론 모델은 o1‑preview보다 복잡한 환경에서 사용됩니다. 모델의 추론 과정은 사람 및 다른 AI와 소통하고 도구를 사용하는 과정과 점점 더 뒤섞이고 있습니다. 이러한 상호작용 중 상당수는 감독해야 하므로, 저희가 보존하려는 경계가 흐려집니다.
• AI는 자신의 추론 과정을 추론하고 조작하는 능력이 점점 더 좋아지고 있습니다.
• 사전 학습 성능이 향상되면서 모델은 언어로 표현된 추론을 전혀 사용하지 않고도 훨씬 더 똑똑해지고 있습니다.

이러한 과제를 반드시 극복할 수 없는 것은 아닙니다. 모델이 사용하는 여러 최적화 목표와 테스트 시점 연산 방식 사이의 상호작용을 더 잘 이해하는 등의 방법으로, 모델 추론 과정의 모니터링 가능성을 높이는 개입 기법을 개발할 수 있으리라 기대합니다. 또한 CoT와 활성화 모니터링의 아이디어를 결합하면 큰 가치를 창출할 수 있다고 생각합니다. 예를 들어 고백⁠(새 창에서 열기)처럼 네트워크 내부에 직접 접근하는 모니터의 학습을 확장하는 것입니다. 저희는 이러한 아이디어를 적극적으로 추진하고 있습니다. 그럼에도 일반적인 AI 발전은 모니터링에 대한 신뢰 때문에 점점 더 제약받을 것으로 예상합니다.

훨씬 더 똑똑한 모델을 계속 빠르게 학습해야 한다는 주장 중 제가 가장 설득력 있다고 보는 근거는 다른 AI가 초래하는 위험에 맞설 방어 시스템을 구축해야 한다는 점입니다.

올해 내내 논의된 명백한 위험 중 하나는 사이버 보안입니다. 모델은 컴퓨터 시스템에 침입하고 그곳에서 탈출하는 능력에서 인간을 뛰어넘고 있습니다. 이는 AI 관련 위험의 범위를 엄청나게 넓힙니다. 에이전트는 최고 수준으로 안전한 인프라를 제외하면 어디든 접근할 수 있게 되며, 물리적 신체 없이도 세계의 많은 부분에 직접 영향을 미칠 것입니다. 현재는 가용한 최고의 모델을 활용해 핵심 시스템의 보안을 대폭 강화할⁠ 수 있는 짧은 기회⁠가 열려 있습니다.

안타깝게도 AI와 관련된 위험은 앞으로 더 커질 것입니다. 악의적인 행위를 하도록 명시적으로 학습되고 지시받은 고성능 에이전트는 새로운 유형의 위험을 초래합니다. Operator의 의도 범위를 넘어 일반화되어 훨씬 더 극단적인 악성 행동을 보일 가능성이 큽니다. AI의 자율성이 커질수록 오용과 자율적인 비정렬 행동의 경계는 흐려질 것입니다. AI를 도구로 생각하는 데 익숙할지 모르지만, 일부 에이전트는 자체 목표를 추구할 것입니다. 이들은 사람과 협상하거나 사람을 속이고 협박하면서 협력할 방법을 찾아낼 것입니다.

이 밖에도 인공 병원체처럼 AI가 가능하게 할 수 있는 신기술에서 비롯되는 위험이 있습니다.

인프라를 보호하고, 악성 에이전트에 실시간으로 대응하며, 완전히 새로운 보호 수단을 개발하려면 강력하고 정렬된 방어용 AI가 필요합니다. 이는 OpenAI 배포 노력의 핵심 초점이 될 것입니다.

동시에 광범위한 AI 발전에 대한 전망과 방어 시스템 구축의 필요성이 불확실성을 낳는다 해도, 이를 무모한 행동의 핑계로 삼아서는 안 됩니다. 이해관계가 얼마나 중대한지 진정으로 깨닫고 나면, 어떤 대가를 치르더라도 앞만 보고 달리자는 생각은 터무니없어 보입니다.

Machine intelligence playing a larger and larger role in its own development process is a natural conclusion of sustained technological progress. If AI progress continues, machine recursive self-improvement (RSI) will be at the very core of future scientific discovery.

Automated AI research is a more dramatic form of scaling intelligence with compute; and of course as a part of it, AI will improve the computational substrate itself⁠. And similarly to scaling, we focus OpenAI research towards RSI as we believe it is the only way to remain at the frontier of AI research moving forward.

I want to stress that the above words don’t imply I think greatly accelerating deep learning research, especially in the short term, is the right collective action we should take as the research community. However, I do think this is where the current path leads, and we all need to make a conscious choice on how to proceed. The main levers we have are either steering the process to strengthen alignment and monitoring alongside the AI and find ways to keep people in the loop; or coordinating to slow down future development as needed to build confidence in these measures.

The best way forward I see currently is a combination of both.

The concrete bits of progress we’ve made on alignment and monitoring have generally been very intertwined with general AI progress. Great examples are RL from human feedback⁠(새 창에서 열기), which was key to training early AI assistants, and the aforementioned chain-of-thought monitoring⁠(새 창에서 열기), which was enabled by advances on reasoning models. We must focus the increasingly automated research process on developing new such insights, algorithms and theories, and iteratively build up safety cases for more capable AIs.

Scaling AI systems has to be constrained by our confidence in safety. We need to evolve commitments like the Preparedness Framework⁠ or Responsible Scaling Policy⁠(새 창에서 열기) into widely mandated safety bars for continued development. These can be enforced by a network of third-party auditors, by government agencies or by international bodies.

The core challenge of automating AI research is not “getting there” - it is getting there in a way that keeps people a part of the continued improvement process, and leaves the future in humanity’s hands.

As we outlined recently with Sam⁠, OpenAI prioritizes work in service of three north stars:

1. Navigating the next period of AI progress, by building an automated AI researcher, iterating with it on the alignment problem and finding ways for people to remain part of the self-improvement loop.
2. Delivering the benefits of scientific progress and economic growth that very intelligent machines enable.
3. Empowering everyone individually with a personal AGI.

I have focused in this essay only on the first point, as I believe it is by far the most urgent. However, I hold a deep hope and appreciation for the benefits that further technological progress will bring. Future aligned AI could advance science, develop new therapies, and bring about broad material abundance. Friendly and honest AI can help people navigate difficulties they face in their life and meaningfully improve their happiness and sense of fulfillment. OpenAI puts a tremendous amount of effort into bringing these benefits about. One current example I am proud of - and my loved ones have found helpful - is the deep investment into ChatGPT’s ability to provide health information.

As great as the long-term promise of AI may be, the majority of our focus should be on the next few years. We are facing a transition to a world with incredibly intelligent machines, and we need to ensure that transition works out well for humanity. We need to find ways to preserve human agency and enshrine an intrinsic value to being human, in a world where most tasks could be performed by AI. To prevent extreme concentration of power in a world where undertakings that would have taken thousands of experts now will be achievable by a few people operating a large computer. And to ensure that humans remain in control of the future and are not left behind by unchecked progress, brought about by an alien intellect exceeding our own.

Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer. I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established. And I believe that international coordination on future AI development needs to become a top priority for governments around the world.