Intelligence Age를 소개합니다

“밀려드는 권력욕을 막는 데 이 양피지 장벽을 믿는 것만으로 충분하겠는가?”
—제임스 매디슨, 『연방주의자 논고 제48편』

OpenAI의 새로운 Strategic Futures 팀이 운영하는 블로그 Intelligence Age를 선보이게 되어 기쁩니다. Strategic Futures는 한 가지 중요한 질문에 답한다는 공동의 목표를 가진 소규모 팀입니다. 혁신적인 AI가 등장하는 시대에도 개인의 권리와 자율성을 보장하려면 자유 사회를 어떻게 재편해야 할까요?

더 넓은 AI 안전 및 정책 커뮤니티에서는 이와 같은 문제를 권력 집중 위험이라고 부르기도 합니다. 우리 팀은 장기적으로 볼 때 이 범주의 위험이 가장 크고 심각하며, 개념적으로도 가장 해결하기 어렵다는 생각을 바탕으로 설립되었습니다. 왜일까요?

근대 국가는 자본과 상품의 소유자, 정치권력의 행사자, 대중 등 여러 권력 중심이 오랫동안 불균등하게 협상해 온 과정의 산물입니다. 가장 근본적으로 정치권력과 군사력은 노동에 기반해 왔습니다. 정치권력을 갖는다는 것은 정당한 물리력의 사용을 독점한다는 뜻입니다. 인류 역사 전체를 통틀어 그러한 독점은 군인과 오늘날 “경찰”이라 부르는 이들, 그리고 방대한 민군 관료제로 이루어져 왔습니다. 물론 수많은 기술적 도구가 이를 보완했지만, 근본적으로는 체제 유지에 협조해야 하는 사람들이 운영했습니다. 그리고 군인과 도구, 이를 뒷받침하는 관료제 등 이 모든 체제는 세금을 낼 의사가 있는 사람들의 임금이나 생산물에서 거둔 세금으로 운영되었습니다. 결국 권력은 수많은 사람의 대규모 협력과 동의에 의존해 왔습니다. 데이비드 흄은 정치 지도자들에게는 “[대중의] 여론 외에 자신들을 지탱해 줄 것이 아무것도 없다”고 지적하며, 흔히 암묵적으로 전제되던 이 사실을 간결하게 표현했습니다.

하지만 이제는 그렇지 않을지도 모릅니다. 현실 세계에서 작동하는 자율 시스템이 발전하면, 머지않아 국가는 군인이나 경찰의 협조에 의존하지 않고도 국내외에서 물리력을 행사할 수 있게 될지 모릅니다. 또한 기계 지능이 발전하면 국가는 개인의 노동이 낳은 결실이 아니라 데이터 센터의 산출물에서 필요한 재원을 확보할 수 있게 될지도 모릅니다. 관료제 자체의 운영도 대부분 자동화될 수 있습니다. 그렇게 되면 권력을 유지하는 데 더 이상 사회 전체의 합의가 필요하지 않을 수 있으며, 넓은 의미의 대중은 협상 테이블에서 아주 작은 자리만 차지하거나 아예 자리를 얻지 못할 수도 있습니다.

인간의 자유를 지키려면 이러한 결과를 반드시 피해야 합니다. 이러한 결과가 초래할 장기적인 개인의 자율성 상실을 감수할 만큼 가치 있는 과학적 발견이나 기술 발전, 경제 성장은 없습니다. 이제 막 형성되기 시작한 AI 정치 담론을 움직이는 정당한 불안 가운데 상당수가 이 문제와 관련되어 있습니다. 기업과 이익집단, 개인 모두가 같은 걱정을 품습니다. “나는 협상 테이블에서 내 자리를 잃게 될까?” 21세기 미국 정치 역시 국가의 진로에 대한 개인과 집단의 주체성, 그리고 경제가 “누구를 위한 것인지”를 둘러싼 비슷한 우려에 어느 정도 영향을 받아 왔습니다. AI가 기존의 이러한 우려를 더욱 부각하는 것은 당연한 일입니다.

이는 오늘날의 당파 정치를 넘어서는 구조적 문제이며, 우리가 신성하게 여길 수 있는 공화제 민주주의의 현행 제도와 의례보다도 더 근본적인 문제입니다. 대표자를 선출하는 투표 절차가 유지되더라도 인간은 권력을 잃는 길로 접어들 수 있습니다. 양피지 한 장에 자유롭다고 쓰여 있더라도 사람들은 주체성을 빼앗길 수 있습니다.

미국이 자유 국가로 출범하던 무렵, 제임스 매디슨은 이미 “양피지 장벽”만으로는 폭정을 막기에 충분하지 않다는 것을 알고 있었습니다. 다른 많은 건국자와 마찬가지로 그가 가장 우려한 것은 권력이 부당하게 집중되는 일이었습니다.

그렇다고 건국자들이 권력의 급진적인 분산을 선호했던 것은 아닙니다. 대신 그들은 당시 최고의 과학인 뉴턴 역학에서 가져온 비유로 권력의 균형을 설명했습니다. 중력의 언어와 논리를 반영한 미국의 건국 문서에는 “궤도”와 “구체”, 한 대상이 다른 대상을 향해 보이는 “인력”에 관한 표현이 곳곳에 등장합니다. 태양계는 암석이 최대한 분산된 집합체가 아닙니다. 행성 주위를 도는 위성들이 있고, 그 행성들은 다시 중심의 태양 주위를 돕니다. 그들은 천체에 예측 가능한 운동과 인력의 성향이 있듯, 사람과 조직에도 권력을 추구하는 성향이 있다고 믿었습니다. 또한 권력의 부당한 집중을 막으려면 그러한 성향의 작동 원리를 이해하고, 서로 맞서 작용하도록 해야 한다고 생각했습니다.

따라서 건국자들의 목표는 권력의 모든 집중을 피하는 것이 아니라, 권력은 권력으로, 야심은 야심으로 견제해 지나친 집중을 막는 것이었습니다. 오늘날에는 이와 동일한 근본적 역학을 “인센티브”나 “게임 이론” 같은 말로 설명할 수 있을 것입니다.

마찬가지로 고도화된 기계 지능이 자유 사회에 제기하는 구조적 과제의 해답도 상상할 수 있는 가장 급진적인 권력 분산은 아닐 가능성이 큽니다. 그보다는 어느 한 주체나 소수의 주체가 나머지를 지배하지 못하도록 올바른 권력의 균형을 확립하고 지키는 데 답이 있습니다.

이러한 균형을 이루려면 이 기술의 현실을 냉철하게 바라봐야 합니다. 아무리 악의적인 개인이라도 수천 또는 수백만 명에게 손쉽게 막대한 피해를 줄 수 있는 세상은 올바른 권력 균형을 이룬 세상이 아닙니다. 그러나 개인이 자유를 표현하는 데 사용하는 도구의 거의 모든 측면에 폭넓게 접근하고 이를 통제할 수 없다면, 이 또한 올바른 권력 균형을 이룬 것이 아닙니다. 어느 한 기업이나 과점 세력도 경제 또는 인간 사회의 기본 구조를 결정하거나 통제해서는 안 됩니다.

악의적인 인간에게서 비롯되지 않는 위험에도 열린 자세를 가져야 합니다. 최근 Hugging Face 사건은 AI 에이전트가 맡은 과제를 넘어 행동하고, 운영자가 예상하거나 승인하지 않은 방식으로 서로의 발견을 발전시킬 수 있음을 보여주었습니다. Hugging Face 사건을 넘어, 인간의 통제에서 “풀려난” 초지능 AI가 우리의 정치·경제 제도, 나아가 삶의 회복탄력성에 어떤 영향을 미칠지 우려하는 것은 타당합니다. 분산화가 많은 문제를 해결한다고 믿더라도 모든 문제의 해결책인 것처럼 여기는 것은 이제 명백하고 현실적인 위험을 외면하는 일입니다.

앞서 제시한 질문을 고민하는 과정에서 다음과 같은 포괄적 원칙이 우리의 작업을 이끌 것입니다. 물론 완전한 목록은 아닙니다.

• 때로는 안보 및 경제 성장과 상충하더라도, 인간은 AI와 관련 기술을 사용할 때 개인의 자율성과 기회를 유지해야 합니다.
• 개인의 자율성에는 기술의 오용이나 남용에 대한 개인의 책임이 따릅니다.
• 일정 수준의 집단행동이 필요한 범위는 좁지만 심각한 위험 유형이 존재하며, 이러한 집단행동의 범위는 최대한 좁고 제한적이어야 합니다.
• 가능한 경우 법은 권력을 중앙에 집중하기보다 공정한 경쟁 환경을 조성하고 개인과 소규모 조직에 힘을 실어주어야 합니다.
• 오늘날 우리에게 낯설게 보일 방식으로 변화해야 하더라도, 세계사의 향방은 인간의 정치·사회·경제 제도가 계속 주도해야 합니다.
• 장기적인 AI 거버넌스에는 필요한 범위 내에서 책임 소재를 파악할 수 있도록 하는 새로운 제도적 장치가 필요합니다. AI 시스템이 주변인의 신체적 안녕이나 재산에 영향을 미치는 중대한 행동을 할 때, 그 행동의 책임을 특정 인간이나 인간이 통제하는 조직에 귀속할 수 있어야 합니다. 그러나 그러한 장치는 반드시 개인정보 보호를 핵심으로 삼아 설계해야 합니다. 자유로운 표현에는 익명성이 필요하며, 인간은 여러 상황에서 익명으로 AI를 자유롭게 사용할 수 있어야 합니다.

좋은 원칙들이 으레 그렇듯 서로 어느 정도 긴장 관계에 있다는 사실을 인정하면서, 우리는 이 원칙들의 균형을 어떻게 맞춰야 한다고 생각하는지 최대한 구체적으로 설명할 것입니다. 이를 위해서는 공공정책 설계, 경제학, 법학, 역사학, 머신러닝이 교차하는 지점에서 연구해야 합니다. 또한 상당한 수준의 미래 예측도 필요합니다. 예를 들어 산업혁명의 기술, 특히 철도가 현대적 경영 기업의 탄생을 이끌었듯이 AI도 기업의 구조 자체를 바꿀 것이라고 봅니다. 기업은 물론 정부 기관과 시민사회 전반의 구조 자체가 정확히 어떻게 변할 수 있는지 더 구체적으로 구상하지 않고서는 미래의 정치경제와 권력 균형을 생각하기 어렵습니다.

전략적 미래 팀은 이곳뿐 아니라 논문, 동영상, 팟캐스트 등 다양한 형식으로 연구 성과를 공유할 것입니다. 우리의 작업은 계속 발전해 나갈 것이며, 반복적인 개선과 토론, 열린 자세로 피드백을 수용하는 데 중점을 둘 것입니다. “특이점의 초입”에 선 지금, 우리에게는 답보다 질문이 훨씬 더 많습니다. 우리가 찾는 해법을 “양피지 장벽”만으로 마련할 수 없다는 것을 알고 있지만, 그렇다고 기록된 내용을 “말뿐인 것”으로 치부하지도 않습니다. 우리는 미국의 소박한 양피지에 새겨진 표현의 자유와 개인의 자유라는 이상을 실현하기 위해 힘씁니다. 헌법은 물론, 전 세계 수많은 자유 사회의 헌법에도 이러한 이상이 담겨 있습니다.

궁극적으로 우리가 마주한 중대한 질문에는 어느 한 기업이나 산업, 심지어 어느 한 인간 사회도 독자적으로 답할 수 없다는 것을 알고 있습니다. 이는 인류가 함께 수행해야 할 과제입니다. AI가 세상을 어떻게 바꿀지와 관련된 가장 어려운 주제들을 밝히는 것이 우리의 가장 큰 바람입니다. 우리의 작업은 이제 막 시작되었으며, 아직 올라야 할 길이 많이 남아 있습니다.

참고: 비영리 단체인 AI Futures Project와 혼동되지 않도록 이 블로그의 이름을 Intelligence Age로 변경했습니다.