침묵의 합의
저자 주: 이 글은 필자가 최근 하버드대학교의 빅-베일리 강연 시리즈에서 한 강연을 바탕으로 작성했다. 이 글은 필자 개인의 견해를 담고 있으며, OpenAI나 다른 직원들의 견해를 반드시 대변하는 것은 아니다.
오늘 이 자리에 함께해 주신 여러분께 감사드린다. 지금 이 순간에도 사이버 보안 역사에서 가장 중대한 사건들 중 하나가 벌어지고 있다. 일부에서 ‘검은 10월’이라 부르는 일련의 심각한 보안 취약점 공개다. 인터넷의 일부 핵심 인프라에서 발견된 이 취약점들은 프런티어 AI 시스템이 찾아냈으며, 그 공개는 전 세계 소프트웨어 보안을 강화하려는 긴급한 노력의 일환이다. 이것이 이번 달의 긴급 현안이다. 다음 달에는 또 다른 현안이 생길 것이다. 소프트웨어 취약점 발견은 오늘날 AI 시스템이 확보한 양면적 능력이다. 머지않아 또 다른 능력이 등장할 것이며, 악의적 행위자가 그 어두운 면을 이용하기 전에 긍정적인 면을 활용하려는 또 다른 긴급 과제가 생길 것이다. 이 모든 긴급 현안은 필연적으로 겹칠 것이며, 오늘날 우리가 ‘AI 정책’이라고 부르는 것의 상당 부분은 이런 소란 속에서 만들어질 가능성이 크다.
하지만 내가 오늘 이야기하려는 것은 당장 대응해야 하는 긴급한 사안들이 아니다. 그보다는 더 큰 그림에서 우리가 어디로 향하고 있는지 이야기하고 싶다. 긴급한 일이 쉴 새 없이 쏟아지는 상황에서는 이렇게 추상적이고 뜬구름 잡는 듯한 질문을 생각하기가 어려울 수 있다. 하지만 이런 질문은 중요하다. 장기적으로 어떤 미래를 이루고 어떤 미래를 피하고 싶은지에 대한 생각이 없다면, 매 단계에서 현명한 결정을 내리고도 전체적으로는 원치 않는 결과에 도달할 수 있기 때문이다.
기술 업계에는 자신들이 만드는 것이 우리를 어디로 데려갈지에 대한 긍정적인 비전이 없다는 말이 자주 나온다. 나는 동의하지 않는다. 샌프란시스코를 비롯한 창업 중심지에는 우리의 기술적 미래에 대한 긍정적인 비전이 넘쳐난다. 사람들은 실제로 하늘을 나는 자동차, 자율주행차, 온갖 크기와 형태의 로봇, 핵융합, 그리고 물론 범용 인공지능을 개발하고 있다. 정작 우리에게 부족한 것은 제도적 미래에 대한 긍정적인 비전이다. 이 모든 것이 어떻게 작동할 것인가?
그렇다고 미래의 제도에 대한 비전이 전혀 없다는 뜻은 아니다. 안타깝게도 내가 가장 흔히 접하는 비전은 긍정적이라고 부를 만한 것이 아니다. 입 밖에 나올 때조차 대개 속삭임에 그친다. 하지만 대부분은 말로 드러나지 않고, 그저 함축된 뜻을 통해서만 짐작할 수 있다. 나는 이것을 침묵의 합의라고 부른다.
인간의 노동 없이 거의 모든 일을 할 수 있는 기업을 생각해 보자. 그 기업의 AI 시스템은 연구개발을 하고, 새로운 것을 발견하고, 계약을 협상하고, 자본을 배분하고, 제품을 생산한다. 인간 경쟁자들이 AI의 도움을 받아 일하더라도 이 기업이 그 모든 일을 더 잘한다고 가정해 보자. 인간의 관여가 사업의 속도를 늦추기만 한다면, 인간 경영자와 소유자에게는 운전대에서 손을 뗄 강력한 유인이 생긴다. 이런 일이 세계 경제 전반에서 벌어진다면, 인간은 시장 경쟁의 논리에 떠밀려 세계 상업에 대한 주도권을 내주게 될 것이다. 시간이 흐르면 시장은 인간의 필요와 욕구만큼, 혹은 그보다 더 많이 기계의 수요를 충족하는 방향으로 움직일 수 있다.
그 뒤에 무슨 일이 일어날지는 아무도 모른다. 어쩌면 인간은 엄청난 혜택을 누릴지도 모른다. 우리를 자신의 질서 안에 편입한 기계가 인간 그 자체의 가치를 높이 여긴다면, 우리는 기계의 노동과 기계가 창출하는 부의 수혜자가 될 수 있다. 반대로 경제적 힘에 이어 정치적 힘까지 점점 빼앗기면서, 인간은 세상에서 차지하는 비중이 갈수록 줄고 세계의 흐름을 바꿀 능력도 점점 잃게 될지 모른다. 대다수의 사람이 힘을 잃는 대신 소수의 인간만 막대한 권력과 부를 차지할 수도 있고, 우리 모두가 힘을 잃는 같은 운명을 맞을 수도 있다. 구체적인 모습이 어떻든, 침묵의 합의를 관통하는 공통점은 우리가 아는 세상에서 인간의 주도권이 끝난다는 것이다.
이런 시나리오가 실현되기 위해 AI가 창조주인 인간에게 반기를 들 필요는 없다. AI의 소유자가 인간이 힘을 잃기를 바랄 필요도 없다. 권한을 넘기는 결정은 하나하나만 놓고 보면 나름대로 합리적일 수 있다. 하지만 그런 결정들이 쌓이면, 인간이 문명의 상당 부분에 대한 실질적 권한을 내준 세상이 만들어질 수 있다. AI 안전성과 정렬이라는 난제에서 획기적인 진전을 이루더라도, 우리는 여전히 새로운 종류의 기계적 존재에 복종하게 될 수 있다. 침묵의 합의에 따르면, 행복한 미래에서 그 존재는 인간의 이익을 진심으로 위하는 선한 기계일 것이다. 브라우티건의 시에 나오는, 사랑의 은총을 베푸는 기계일 것이다.
침묵의 합의에 따르면, 우리는 이 기계들에게 기업의 열쇠를 넘기고, 점차 통치 기관의 열쇠까지 넘기게 될 것이다. 기계는 인간이 발휘할 수 있는 것보다 더 뛰어난 지혜와 판단력으로, 더 효과적이고 효율적으로 기업과 기관을 운영할 것이다. 그렇게 시간이 흐르면 우리는 운전대에서 손을 떼고, 사랑을 베푸는 기계에 운전을 맡기게 될 것이다. 우리는 차에 탄 승객과 같아질 것이다. 아주 좋은 차, 어쩌면 물질적으로는 오늘날 꿈꿀 수 있는 것보다 훨씬 더 좋은 차일 것이다. 하지만 차가 어디로 향하는지 통제하지 못하는 승객이라는 사실은 달라지지 않는다. 우리가 일을 하더라도 그것은 대부분 일종의 의식이나 흉내 내기, 인류가 즐기는 놀이에 더 가까운 것이 될 것이다.
일각에서는 애초에 오늘날에도 인간이 세상을 통제하고 있지 않으므로, 침묵의 합의는 잘못된 전제에 서 있다고 주장할 것이다. 이 비판은 새겨들을 만하다. 무엇을 할지 결정하는 단일한 주체로서의 ‘우리’는 없다. 좋든 싫든 우리는 권한이 극도로 분산된 세상에서 살고 있다. 그러나 이 점을 이유로 안주해서도 안 된다. ‘우리’가 세상을 ‘통제’하지는 않더라도, 인간은 집단적으로 세상사에 대한 주도권을 갖고 있다. 자원에 대한 지배권을 놓고 인간과 진지하게 경쟁하는 동물 종은 없다. 인간이 세상을 하향식으로 통제할 수 있다는 허술한 관념은 버려야 한다. 그러나 그 관념을 거부하는 것과, 인간이 집단적으로 지구의 주도적 행위자라는 명백한 현실을 부정하는 것을 혼동해서는 안 된다.
침묵의 합의를 기꺼이 말로 드러내는 사람 중에는 그것이 진정으로 좋은 미래라고 믿는 이들도 있다. 그렇게 믿지는 않지만 피할 수 없다고 체념한 이들도 있다. 침묵의 합의가 합의인 것은 모두가 그것을 좋다고 여기기 때문이 아니다. AI를 만드는 사람들 사이의 비밀 계획도 아니다. 합의의 내용은 단순하다. 인간이 세상사에 대한 주도권을 내주는 일은 피할 수 없다는 것, 적어도 초지능 기계 앞에서도 흔들리지 않을 다른 미래상을 상상하기는 매우 어렵다는 것이다. 그런 결과에 진심으로 반대하면서도, 실현 가능한 대안을 떠올리기는 어려울 수 있다. 이 합의가 대부분 입 밖에 나오지 않고, 언급되더라도 기껏해야 나직한 목소리로 이야기된다는 사실 자체가 많은 것을 말해 준다.
나는 침묵의 합의를 경멸한다. 인간의 주도권을 내주는 것을 거부한다. 그것이 불가피하다는 생각을 혐오한다. 침묵의 합의에 굴복한다면 어린 아들의 아름다운 눈을 똑바로 바라볼 수 없으리라는 사실을 스스로 되새긴다. 그래서 나는 침묵의 합의에 아니라고 말한다. 이제 침묵의 합의를 공개적으로 이야기할 때가 왔다고 믿는다. 자신도 모르는 사이에 이 미래상을 받아들이던 상태에서 벗어나야 할 때다.
문제는 이것이다. 침묵의 합의가 합의가 된 데는 이유가 있다. 인간을 아득히 뛰어넘는 기계 지능과 함께하면서도 인간이 어떻게 운전대를 계속 잡을 수 있을지 설명하기는 어렵다. 이를 설명하려는 시도는 대부분 AI가 단순한 도구, 즉 ‘진정한 이해’ 능력이 없는 패턴 인식 수단에 불과하다는 주장에 기대고 있다. 나는 이런 주장이 다가오는 현실을 견뎌 내지 못할까 우려한다. 그 역시 또 다른 형태의 안일함일까 우려한다. 인간이 이끄는 미래에 대한 적극적인 비전에 뿌리를 둔 믿음이 아니라, 주로 AI가 할 수 있는 일을 부정하는 데 기댄 입장이라는 것이다. 인간이 수십 년, 수백 년 동안 풀지 못한 지적 문제에서 AI가 진전을 이루는데도, AI에 ‘진정한 이해’가 없다고 말할 수는 없다.
그렇다면 나는 왜 인간이 주도권을 유지해야 한다고 믿는가? 가장 간단한 답은 내가 인간이기 때문이라는 것이다. 실제로 나는 인간을 편드는 데 조금도 거리낌이 없는 인간 지상주의자다.
하지만 더 깊은 이유도 있다. 우리의 주도권은 지성에 근거하지 않는다. 앞으로도 인간만이 무언가를 ‘진정으로 이해’할 수 있어야 한다는 데 근거하는 것도 아니다. 우리의 주도권은 오히려 우리의 과거에 근거한다.
진흙 속에서 일어선 것은 바로 우리이기 때문이다. 흙과 돌로 원시 사회를 일군 것도 우리다. 별을 올려다보며 왜인지 물었던 것도 우리다. 싸우고 사랑하고 질투하고 기뻐하며 도덕과 윤리와 법을 발견한 것도 우리다. 노래하고 춤추고, 글을 쓰고 곡을 만든 것은 우리다. 역사를 만든 것도 우리이고, 그 역사를 기록한 것도 우리다. 그 유산은 우리의 것이다. 우리가 세운 문명은 우리가 지켜 온 불꽃이며, 그 불꽃은 우리의 것이다. 우리의 과거는 우리 모두가 맡아 지켜야 할 영광스러운 유산이다. 그 책임의 일부는 마이클 오크숏이 ‘인류의 대화’라고 부른 것, 태고부터 시작된 그 장대한 여정에 참여하는 데 있다.
그 길고 굽이진 과거를 거치며 우리는 문명을 일구었다. 미국에서 그 문명은 개인의 권리를 토대로 구상되었으며, 우리 각자가 세상을 살아가며 개척하는 길을 존중했다. 인간의 삶은 더 나아질 수도, 더 나빠질 수도 있다. 우리는 현명한 결정의 결실을 누리고, 잘못을 저지르면 그 결과를 감당한다. 자신의 길을 걸을 권리는 가장 똑똑하거나 가장 지혜로운 사람인지에 달려 있지 않다. 이웃의 판단력이 더 뛰어나다고 해서 내가 시민으로서의 지위를 잃지는 않는다. 더 지능적인 기계가 등장한다고 해서 그 지위가 사라져야 할 이유도 없다고 본다. 오히려 그 지위가 사라지는 것을 막아야 할 이유는 얼마든지 있다.
어떤 이들은 이 유산에 관한 거의 모든 기록을 읽은 기계 역시 상속자라고 주장할지도 모른다. 어떤 의미에서는 그렇다. 하지만 우리 집 다락방에 있는 편지를 모조리 읽었다고 해서 그 사람이 우리 가족이 되는 것은 아니다. AI 시스템은 처음에는 관찰자로, 점차 참여자로 인류의 대화에 합류하게 될 것이다. 그러나 그 대화를 지배하거나 무의미하게 만들어서는 안 된다. 주도권을 내주는 것은 후손을 배신하는 일인 동시에 조상을 배신하는 일이다. 이것이 싸울 가치가 있는 싸움이 아니라면, 세상에 싸울 가치가 있는 싸움은 없다.
그런데 나는 침묵의 합의를 받아들이는 사람들이 기계 초지능이 어떤 모습일지 잘못 짚고 있다고 믿는다. 세상이 돌아가는 방식에서 중요한 무언가를 놓치고 있으며, 지능을 권력과 혼동하고 있다고 생각한다. 5년이나 10년 전, 침묵의 합의를 받아들이는 사람에게 오늘날 AI 시스템의 능력만 설명했더라도, 그 사람은 지금의 실업률이 실제보다 훨씬 높을 것이고 인간이 전반적으로 힘을 잃는 과정도 실제보다 훨씬 더 진행되었을 것이라고 예상했을 것이다. 나는 인간의 집단 지성과 역량이 침묵의 합의를 받아들이는 사람들이 생각하는 것보다 훨씬 크며, 우리 사회는 그들의 예상보다 더 굳건하리라고 믿는다.
하지만 내가 틀릴 수도 있다. 예컨대 완전 자율 기업이 인간의 기업을 경쟁에서 완전히 밀어내는 일이 벌어질 수도 있다. 그것이 사실이라면, 냉정한 경제 논리에 따라 더 많은 자본이 기계의 손으로 넘어갈 것이다. 이런 미래에서 인간이 힘을 잃는 데 기계가 인간 문명을 전복할 필요는 없다. 자본주의적 기업 활동의 논리가 지금처럼 계속 작동하기만 하면 된다. 이 경우 AI 혁명과 가장 가까운 역사적 사례는 새로운 생산 방식이 인간 사회의 구조를 근본적으로 바꾸었던 농업 혁명일 것이다. 그 변화를 겪은 인간들에게 그것이 반가운 일이었는지는 전혀 분명하지 않다. 실제로 그 변화가 수천 년 동안 인간의 삶의 질을 악화시켰다는 증거는 상당하다.
이것이 우리가 맞이할 미래인지는 모른다. 사실 나는 다른 글에서 그런 미래가 오리라고 믿지 않는다는 주장을 펴기도 했다. 그러나 지적이고 배려심 깊고 양심적인 내 동료들 중 상당수는 이것이 우리의 미래가 될 가능성이 크다고 믿는다. 그들이 옳다면 침묵의 합의에 맞서는 우리의 싸움은 한층 더 어려워질 것이다. 우리는 경제의 흐름을 거슬러 헤엄쳐야 할 것이며, 그 과정에서 나 같은 고전적 자유주의 성향의 개인주의자들이 불변의 원칙으로 여기는 많은 것을 거부해야 할 것이다. 그것은 위험한 도전이 될 것이며, 실패할 가능성도 결코 낮지 않을 것이다. 하지만 이 싸움조차 싸울 가치가 없다면, 세상에 싸울 가치가 있는 싸움은 없다.
주도권을 유지한다는 것은 인간과 인간의 제도가 계속 책임을 진다는 뜻이다. 따라서 AI 개발자는 안전하지 않은 방식으로 개발할 때 책임을 져야 한다. 동시에 AI를 사용하는 개인과 기업도 오용이나 감독 소홀로 피해를 초래했다면 책임을 져야 한다. 이를 위해서는 법뿐 아니라 책임을 묻기 위한 기술적 기반도 필요하다. 각 에이전트의 행동에 책임지는 사람이 있어야 한다. 책임질 인간이 없는 에이전트는 합법적인 경제 활동에 참여하도록 허용하더라도 반드시 안전장치 안에서 활동하게 해야 한다. 에이전트가 자율적으로 법인을 설립하거나 재산을 소유하거나 소송을 진행할 권한은, 부여하더라도 지극히 신중하게 부여해야 한다.
그리고 내가 몸담은 업계에서는 인간의 주도권과 양립할 수 있는 지능형 기계를 어떻게 만들지 진지하게 고민하기 시작할 수 있다. 허용된 권한이 이해하기 쉽고 제한되어 있으며, 행동을 감사할 수 있고, 사용자가 권한을 회수할 수 있는 에이전트를 만들 수 있다. 타인에게 실질적 영향을 미치는 행동에 책임을 묻는다고 해서 일상적인 사생활을 감시하거나 익명 표현의 자유를 없애야 하는 것은 아니다. 사용자의 개인정보를 보호하고 개인이 자신의 디지털 재산과 데이터에 대한 주권을 갖도록 약속할 수 있다. 여기에는 데이터를 다른 곳으로 옮길 수 있는 실질적인 능력도 포함된다. 작업을 수행하는 시스템뿐 아니라, 사람이 이해를 넓히고 결정을 내리도록 돕는 시스템도 설계할 수 있다. 그리고 우리가 만든 제품이 사용자가 세상에서 행동할 역량을 실제로 키워 주는지 검증할 수 있다.
이 중 어느 것도 초인적 지능과 함께하는 사회의 완전한 청사진은 아니다. 나는 그런 청사진을 갖고 있다고 주장하는 사람이라면 누구든 의심할 것이다. 하지만 출발점은 될 수 있다.
미래는 짙은 안개에 싸여 있다. 하지만 우리는 오늘도 행동할 수 있다. 우선 우리는 함께 침묵의 합의를 소리 내어 말하고, 그 윤곽을 밝은 빛 아래 드러낼 수 있다. 우리 각자는 품고 있는 포부의 크기를 획기적으로 키울 수 있다. AI가 우리를 위축시키도록 내버려 두는 대신, AI를 통해 우리의 가능성을 넓히기 위해 기꺼이 어려운 노력을 할 수 있다. 점점 더 대담한 질문을 던지고, 새로운 활력과 맹렬한 기세로 세상을 탐구하며, 그 과정에서 강력한 기계를 활용하는 법을 배울 수 있다. 우리는 새로운 유형의 인간이 될 수 있다. 인간을 넘어선 존재가 아니라, 자신의 가능성을 넓힌 인간이 될 수 있다.
나는 어린 아들을 바라볼 때면 이런 생각을 한다. 선한 기계가 아무리 안락한 삶을 제공하더라도, 내 아들이 그저 기계의 보살핌을 받으며 살기만을 바라지는 않는다. 나는 아들이 누구도 생각하지 못한 질문을 던지고, 누구도 만들 생각을 하지 못한 것을 만들 수 있는 세상을 물려받기를 바란다. 아들이 더 푹신한 조수석을 갖춘 더 좋은 차를 갖기를 바라는 것이 아니다. 나는 아들이 운전대를 잡기를 바란다.
- 2026


