O consenso silencioso
Nota do autor: O ensaio de hoje é uma adaptação de uma palestra que o autor proferiu recentemente na série de palestras Vik-Bailey, em Harvard. Este texto reflete as opiniões do próprio autor, e não necessariamente as da OpenAI ou de qualquer um de seus outros funcionários.
Obrigado por estarem aqui hoje. Enquanto conversamos, está em curso uma das mais importantes séries de acontecimentos da história da cibersegurança: uma série de divulgações de vulnerabilidades críticas de segurança que alguns estão chamando de "Outubro Negro". Essas vulnerabilidades, localizadas em partes fundamentais da infraestrutura da internet, foram descobertas por sistemas de IA de ponta, e sua divulgação faz parte de um esforço urgente para reforçar a segurança de software em todo o mundo. Essa é a questão urgente deste mês; no mês que vem, haverá outra. A descoberta de vulnerabilidades em software é a capacidade de uso duplo que os sistemas de IA alcançaram hoje, mas logo haverá outra, que motivará seu próprio projeto urgente para aproveitar o lado benéfico dessa capacidade antes que agentes mal-intencionados explorem seu lado nocivo. Todas essas questões urgentes inevitavelmente se sobreporão, e boa parte do que hoje chamamos de "políticas de IA" provavelmente será formulada em meio a esse alvoroço.
Mas não vim falar hoje sobre urgências e respostas imediatas. Quero, em vez disso, falar sobre o rumo que as coisas podem tomar em uma perspectiva mais ampla. Em meio a tantas urgências, pode ser difícil pensar nessas questões mais abstratas e menos palpáveis. Mas essas questões importam, porque, sem uma noção dos futuros de longo prazo que gostaríamos de alcançar — e dos que gostaríamos de evitar —, podemos acabar com um resultado geral indesejado, mesmo tendo tomado decisões sábias a cada passo do caminho.
Costuma-se dizer que falta ao setor de tecnologia uma visão positiva de onde suas criações nos levarão. Discordo: São Francisco e outros polos de empreendedorismo estão repletos de visões positivas para nosso futuro tecnológico. Há pessoas realmente desenvolvendo carros voadores, veículos autônomos, robôs de diversos tamanhos e formatos, fusão nuclear e, é claro, inteligência artificial geral. O que nos falta, na verdade, é uma visão positiva de nosso futuro institucional: como tudo isso vai funcionar?
Isso não significa, porém, que não exista uma visão institucional para o futuro. Infelizmente, a visão que encontro com mais frequência não é uma que eu chamaria de positiva. Quando chega a ser expressa, costuma ser em sussurros. Mas, na maioria das vezes, não é dita, só pode ser percebida nas entrelinhas. Eu a chamo de consenso silencioso.
Imagine uma empresa capaz de fazer quase tudo sem trabalho humano. Seus sistemas de IA fazem pesquisa e desenvolvimento, realizam descobertas, negociam contratos, alocam capital e fabricam produtos. Suponha que ela faça tudo isso melhor do que seus concorrentes humanos, mesmo quando esses humanos potencializam seus esforços com IA. Se a participação humana só servir para desacelerar os negócios, gestores e proprietários humanos terão um forte incentivo para tirar as mãos do volante. Se isso ocorrer em toda a economia global, a lógica da concorrência de mercado levará os humanos a renunciar à sua primazia sobre o comércio mundial. Com o tempo, o mercado poderá passar a atender às demandas das máquinas tanto quanto, ou até mais do que, atende às demandas e aos desejos das pessoas.
O que acontece depois disso, ninguém sabe. Talvez os seres humanos se beneficiassem enormemente. Se as máquinas que nos tivessem absorvido em sua ordem atribuíssem grande valor intrínseco aos seres humanos, poderíamos nos tornar beneficiários de seu trabalho e da riqueza que geram. Ou talvez, privados de poder econômico e, cada vez mais, político, nós, seres humanos, nos tornemos cada vez menos relevantes no mundo, cada vez menos capazes de influenciar o rumo dos acontecimentos mundiais. Talvez um pequeno número de pessoas detivesse poder e riqueza extraordinários, à custa de uma massa amplamente desprovida de poder, ou talvez todos nós compartilhássemos o mesmo destino de perda de poder. Independentemente dos detalhes, o fio condutor do consenso silencioso é o fim da primazia humana no mundo como o conhecemos.
Nada nesses cenários exige que a IA se rebele contra seus criadores. Nada exige que seus proprietários desejem a perda de poder dos seres humanos. Cada decisão de delegar pode fazer sentido por si só. Mas, em conjunto, essas decisões poderiam produzir um mundo no qual as pessoas tivessem renunciado à autoridade efetiva sobre grande parte da nossa civilização. Mesmo que avancemos extraordinariamente nas questões espinhosas da segurança e do alinhamento da IA, ainda poderíamos acabar submetidos a um novo tipo de entidade maquínica. Na versão feliz do futuro, diria o consenso silencioso, essa entidade será bondosa, uma máquina comprometida com os melhores interesses dos seres humanos. Uma máquina, como diz o poema de Brautigan, de graça amorosa.
É a essas máquinas, diz o consenso silencioso, que entregaremos as chaves de nossas empresas e, cada vez mais, de nossas instituições de governo. Elas as administrarão com mais eficácia, mais eficiência, mais sabedoria e mais discernimento do que nós, humanos, somos capazes. E assim, com o tempo, tiraremos as mãos do volante e deixaremos que as máquinas amorosas assumam a direção. Seremos como passageiros de um carro — um carro muito bom, talvez materialmente melhor do que podemos sonhar hoje —, mas ainda assim passageiros, sem controle sobre o rumo do veículo. Se trabalharmos, será sobretudo como uma espécie de ritual ou encenação, algo mais parecido com um jogo para entreter nossa espécie.
Alguns observadores argumentarão que o consenso silencioso parte de uma premissa falsa, porque, para começar, nós, humanos, não controlamos o mundo hoje. E vale ter essa crítica em mente: não existe um "nós" que decida o que fazer. Vivemos em um mundo radicalmente descentralizado, gostemos ou não. Mas isso tampouco deve nos levar à complacência: embora "nós" não "controlemos" o mundo, os seres humanos, coletivamente, têm, sim, primazia sobre os rumos do mundo. Não há espécie animal que dispute seriamente conosco o controle dos recursos. Devemos rejeitar a ideia intelectualmente descuidada de que os humanos podem exercer controle de cima para baixo sobre o mundo, mas não devemos confundir essa rejeição com a negação da realidade óbvia de que os humanos são, coletivamente, o principal agente na Terra.
Algumas pessoas dispostas a expressar o consenso silencioso acreditam que ele representa um futuro genuinamente bom. Outras não, mas se resignam à sua inevitabilidade. O consenso silencioso não é um consenso porque todos concordam que ele é bom, nem é um plano secreto entre as pessoas que desenvolvem IA. O consenso é simplesmente que a renúncia à primazia humana sobre os rumos do mundo é inevitável, ou ao menos que é muito difícil imaginar outra visão de futuro que se sustente de fato diante de máquinas superinteligentes. Uma pessoa pode se opor sinceramente a esse desfecho e, ainda assim, ter dificuldade para conceber uma visão alternativa plausível. O sinal revelador está no fato de que o consenso é quase sempre silencioso, expresso, quando muito, em voz baixa.
Desprezo o consenso silencioso. Rejeito a renúncia à primazia humana. Detesto essa sensação de inevitabilidade. Lembro a mim mesmo que não conseguiria olhar nos belos olhos do meu filho bebê se me submetesse ao consenso silencioso. Por isso, ao consenso silencioso, digo não. E acredito que chegou a hora de falar abertamente sobre o consenso silencioso, de nos sacudir para sair dessa aceitação quase sempre inconsciente de tal visão.
O problema é este: o consenso silencioso se tornou consenso por um motivo. É difícil descrever como os seres humanos continuarão ao volante ao lado de uma inteligência de máquina imensamente superior à humana. A maioria das tentativas recorre ao argumento de que a IA é uma mera ferramenta, um instrumento de reconhecimento de padrões incapaz de "compreensão genuína". Temo que esses argumentos não se sustentem diante da realidade do que está por vir. Temo que sejam uma forma própria de complacência — uma posição baseada sobretudo na negação do que a IA pode fazer, e não em uma convicção enraizada em uma visão afirmativa de um futuro liderado por humanos. Não se pode dizer que as IAs carecem de "compreensão genuína" quando elas passam a avançar em problemas intelectuais cujas soluções escapam aos seres humanos há décadas e séculos.
Por que, então, acredito que os humanos devem manter sua primazia? A resposta fácil é que sou um ser humano e, de fato, um defensor incondicional da supremacia humana, sem pedir desculpas por isso.
Mas há algo mais profundo também. Nossa primazia não se apoia em nosso intelecto, nem na manutenção de nosso monopólio da "compreensão genuína" por tempo indefinido. Nossa primazia se apoia, na verdade, em nosso passado.
Pois fomos nós que emergimos da lama. Nós que forjamos a sociedade primitiva com terra e pedra. Nós que olhamos para as estrelas e perguntamos por quê. Nós, com nossas lutas, nosso amor, nossa inveja e nossa alegria, que descobrimos a moral, a ética e o direito. Fomos nós que cantamos e dançamos, escrevemos e compusemos. Fomos nós que fizemos a história, e fomos nós que a escrevemos. Esse legado é nosso. A civilização que construímos é uma chama que mantivemos acesa, e essa chama nos pertence. Nosso passado é uma herança gloriosa da qual todos somos guardiões, e parte dessa responsabilidade é nossa participação no que Michael Oakeshott chamou de "a conversação da humanidade", essa grandiosa empreitada que começou nos tempos primordiais.
Ao longo desse passado extenso e sinuoso, forjamos uma civilização que, nos Estados Unidos, foi concebida sobre o alicerce dos direitos individuais, com reverência pelos caminhos que cada um de nós abre ao percorrer o mundo. Os seres humanos têm vidas que podem ir melhor ou pior: colhemos os frutos de nossas decisões sábias e arcamos com as consequências quando erramos. O direito de trilhar o próprio caminho não depende de ser o mais inteligente ou o mais sábio. Não perco minha condição de cidadão porque meu vizinho tem mais discernimento. Também não vejo razão para que a chegada de uma máquina mais inteligente elimine essa condição e, de fato, vejo todos os motivos para impedir que isso aconteça.
Alguns podem argumentar que as máquinas, por terem lido quase todo o registro escrito dessa herança, também são herdeiras. E, em certo sentido, são. Mas uma pessoa que leu todas as cartas no sótão da sua família não se torna, por isso, um membro da família. Os sistemas de IA passarão a integrar a conversação da humanidade, primeiro como observadores e, cada vez mais, como participantes, mas não devem dominá-la nem torná-la irrelevante. Ceder a primazia é trair nossos ancestrais tanto quanto é trair nossos descendentes. Se esta não é uma luta que vale a pena travar, nenhuma é.
Pois bem, acredito que os adeptos do consenso silencioso estão errados sobre o que será a superinteligência de máquina. Que deixam escapar algo importante sobre como o mundo funciona, que confundem inteligência com poder. Se, cinco ou dez anos atrás, você tivesse descrito as capacidades dos sistemas de IA que já existem hoje a um adepto do consenso silencioso, ele provavelmente teria previsto um desemprego muito maior do que o atual e uma perda de poder humano, em sentido amplo, muito mais avançada do que realmente está. Acredito que a inteligência e a capacidade coletivas dos seres humanos são muito maiores do que supõem os adeptos do consenso silencioso, e que nossas sociedades se mostrarão mais resilientes do que eles preveem.
Mas posso estar errado. Pode simplesmente acontecer, por exemplo, de empresas totalmente autônomas superarem por completo as empresas conduzidas por humanos. E, se isso for verdade, a lógica crua da economia determinará que cada vez mais capital seja entregue às máquinas. Nesse futuro, a perda de poder não exige que as máquinas derrubem a civilização humana; basta que a lógica da atividade empresarial capitalista siga seu curso. Nesse caso, o paralelo mais próximo da revolução da IA seria a revolução agrícola, quando novos modos de produção mudaram profundamente a estrutura da sociedade humana. Está longe de ser claro que essa transformação tenha sido agradável para os humanos que a viveram; na verdade, há evidências substanciais de que ela piorou o bem-estar humano por milênios.
Não sei se esse é o futuro que nos espera e, de fato, já argumentei em outras ocasiões que não acredito que seja. Mas muitos dos meus colegas — pessoas inteligentes, atenciosas e conscienciosas — acreditam que esse provavelmente será nosso futuro. Se eles estiverem certos, nossa luta contra o consenso silencioso será ainda mais desafiadora. Teremos de nadar contra a corrente da economia e, ao fazê-lo, rejeitar muitas das coisas que são dogmas para individualistas adeptos do liberalismo clássico como eu. Será uma empreitada perigosa, na qual o fracasso está longe de ser improvável. Mas, se esta não é uma luta que vale a pena travar, nenhuma é.
Manter a primazia significa manter a responsabilização dos seres humanos e das instituições humanas. Isso significa que desenvolvedores de IA devem responder por práticas de desenvolvimento inseguras, mas também que pessoas e empresas que usam IA devem ser responsabilizadas quando o uso indevido ou a falta de supervisão de sua parte causar danos. Isso exige não apenas leis, mas também uma infraestrutura técnica de responsabilização. As pessoas devem estar vinculadas às ações de seus agentes, e agentes sem vínculo com um ser humano — se é que devem ter permissão para exercer atividades econômicas lícitas — devem fazê-lo sob salvaguardas. Qualquer permissão para agentes constituírem empresas, possuírem bens ou litigarem de forma autônoma deve ser concedida com extrema cautela, se é que deve ser concedida.
E, no meu setor, podemos começar a pensar seriamente em como construir máquinas inteligentes compatíveis com a primazia humana. Podemos criar agentes com permissões compreensíveis e limitadas, ações auditáveis e autoridade que os usuários possam revogar. A responsabilização por ações que afetam materialmente outras pessoas não precisa implicar vigilância da vida privada cotidiana nem o fim da expressão anônima. Podemos assumir compromissos com a privacidade dos usuários e a soberania individual sobre seus bens e dados digitais, incluindo a possibilidade prática de levar esses dados para outro lugar. Podemos projetar sistemas que ajudem as pessoas a compreender melhor e a tomar decisões, além de sistemas que executem tarefas. E podemos testar se os produtos que criamos deixam seus usuários mais capazes de agir no mundo.
Nada disso constitui um plano completo para uma sociedade com inteligência sobre-humana. Eu desconfiaria de qualquer pessoa que afirmasse ter um. Mas é um ponto de partida.
O futuro está envolto em uma névoa densa. Mas ainda podemos agir hoje. Juntos, podemos, para começar, dar nome ao consenso silencioso em voz alta, expor seus contornos à luz do dia. Cada um de nós pode ampliar radicalmente o alcance de sua ambição. Podemos escolher não deixar que a IA nos diminua e, em vez disso, fazer o trabalho árduo de permitir que ela nos amplie. Podemos aprender a fazer perguntas cada vez mais ousadas, a interrogar o mundo com novo vigor e intensidade, e a usar nossas poderosas máquinas para isso. Podemos nos tornar um novo tipo de ser humano — não um transumano, mas um ser humano ampliado.
Penso nisso quando olho para meu filho, ainda bebê. Não desejo que ele apenas viva sob os cuidados de máquinas benevolentes, por mais confortável que seja a vida que elas possam proporcionar. Quero que ele herde um mundo no qual possa fazer perguntas que ninguém pensou em fazer, construir coisas que ninguém pensou em construir. Não quero que ele tenha um carro melhor, com um banco de passageiro mais confortável. Quero que ele esteja ao volante.
- 2026


