Como a Block usa a tecnologia da OpenAI na segurança com IA

Na Block, empresa por trás da Square, do Cash App e do Afterpay, a equipe de segurança utiliza a OpenAI Defense Factory: nela, a IA cuida da descoberta de vulnerabilidades, da detecção e da resposta em uma escala que nenhuma equipe humana conseguiria acompanhar. Com sistemas de IA como o OpenAI Daybreak, a Block leva apenas algumas horas para fazer um trabalho que antes levava semanas.

A equipe de segurança da Block tem se dedicado à adoção responsável da IA em seus fluxos de trabalho, seja na geração de código ou nas operações de segurança. "O ponto central é ter um novo colega de equipe com quem você possa ampliar sua capacidade de atuação", diz James Nettesheim, diretor de segurança da informação. "Não é como a automação tradicional, em que era preciso definir cada etapa. Você pode apresentar um problema bastante específico e ambíguo em um prompt e trabalhar na solução em conjunto."

Projetos como analisar um bug de software ou examinar um log levavam dias ou semanas para serem concluídos. Agora, a equipe consegue concluir esses projetos em uma fração do tempo, com uma pessoa ainda validando cada resultado.

Por exemplo, para ajustar a detecção, cada investigação armazena as evidências brutas das consultas. Assim, a equipe pode testar uma alteração proposta na detecção usando sete meses de telemetria de produção em menos de uma hora. Antes, esse trabalho exigia refazer manualmente consultas de centenas de casos antigos e, na prática, raramente era feito por consumir tanto tempo.

A equipe também passou a ser mais criteriosa na escolha do modelo para cada tarefa. "Antes, usávamos o modelo mais recente, mas isso já não é necessário", diz ele. "Escolher modelos diferentes para tarefas diferentes tem sido um aprendizado." O harness de segurança da Block foi desenvolvido sobre o Daybreak para ajudar a encaminhar as tarefas ao modelo adequado e inclui mecanismos para que pessoas assumam tarefas ou agentes verifiquem o trabalho uns dos outros. A equipe avalia continuamente esses sistemas com base em benchmarks internos e no desempenho em situações reais, ajustando sua abordagem quando necessário, inclusive encaminhando o trabalho para revisão humana quando essa é a opção responsável.

O sistema de triagem automatizada permitiu realizar mais trabalho em menos tempo. A equipe de segurança da Block registrou um aumento de 50% na taxa de processamento da triagem, um crescimento de 50% na coleta de inteligência e nas investigações, além de uma capacidade inteiramente nova de busca autônoma por ameaças. Nettesheim afirma: "Esse sistema realiza o equivalente a cerca de 1.100 horas de investigação de analistas por trimestre, porque agora cada alerta passa por uma investigação completa e aprofundada de todos os elementos envolvidos. Nosso sistema trata cada alerta como se fosse o único que recebemos naquele dia."

Ferramentas tradicionais de varredura apontam vulnerabilidades isoladas, mas a equipe de segurança da Block consegue ir muito além com o Daybreak. O modelo ajuda a formular hipóteses sobre padrões de ataque e a encadear uma série de ataques em um caminho completo de comprometimento, revelando vulnerabilidades que podem existir há anos.

Em um dos casos, um alerta em um único laptop parecia, isoladamente, um pequeno descumprimento de política. Mas, durante a revisão por pares, o modelo seguiu um indicador que aparecia apenas incidentalmente nas evidências, cruzou-o com os logs de identidade da Block e revelou um conjunto muito maior de problemas. "Um alerta rotineiro de endpoint levou à interrupção de uma campanha de ataques. Nenhuma ferramenta faz esse cruzamento sozinha. O indício só aparece quando se cruzam os logs de dois produtos", diz James.

Outro exemplo da ajuda do Daybreak ocorreu durante um exercício recente de red teaming. O modelo recebeu algumas pistas sobre um sistema interno e encadeou um caminho completo de ataque — injeção de SQL, escalonamento de privilégios, estabelecimento de um ponto de apoio, enumeração de credenciais e movimentação para outros sistemas — em cerca de duas horas. Normalmente, um profissional de red teaming levaria vários dias para fazer isso. Em exercícios recentes de red teaming, o tempo entre o envio de uma descrição geral de vulnerabilidade e uma proposta automática de correção foi de 18 minutos.

Encontrar vulnerabilidades só é útil quando se consegue corrigi-las. Nettesheim explica o processo que sua equipe segue para cada descoberta: localizar o problema no código, identificar o responsável e, então, partir para a correção. "Você propõe uma correção, confirma se a vulnerabilidade pode ser explorada e depois verifica se ela foi corrigida, com uma pessoa acompanhando e orientando o processo e implantando as alterações no código."

Embora os agentes tenham capacidade técnica, eles não conhecem o contexto da organização nem os motivos por trás das decisões anteriores. É uma pessoa que fornece esse contexto e essa estratégia, e é aí que sua equipe entra para oferecer uma camada de revisão humana. À medida que a capacidade de julgamento da IA se comprovar na prática, Nettesheim diz que "vamos aumentar gradualmente o nível de risco para usá-la em sistemas mais sensíveis".

• Menos de uma hora para testar uma alteração proposta na detecção usando sete meses de telemetria.

• 18 minutos entre o envio de uma descrição geral de vulnerabilidade e uma proposta automática de correção em exercícios recentes de red teaming.

• Cerca de 600 horas de trabalho de analistas por trimestre liberadas da triagem de falsos positivos.

• Aproximadamente 1.100 horas de investigação de analistas realizadas por trimestre.

• Aumento de 50% na taxa de processamento da triagem.

• Crescimento de 50% na coleta de inteligência e nas investigações.

Só o trabalho de detecção e resposta já liberou cerca de 600 horas de trabalho de analistas por trimestre que antes eram dedicadas à triagem de falsos positivos. Com esse tempo recuperado, a equipe agora se dedica mais a investigações aprofundadas e ao desenvolvimento responsável de mais automações.

À medida que o ritmo dos ataques aumenta e os modelos de IA continuam avançando, Nettesheim vê uma oportunidade de evitar a introdução de vulnerabilidades desde o início. Isso permitiria que as equipes de segurança dedicassem menos tempo a correções e mais tempo ao trabalho preventivo e estratégico.

"A OpenAI está fazendo a vantagem passar para o lado dos defensores ao colocar essas capacidades avançadas nas mãos de todos", diz ele. "Historicamente, elas ficavam restritas a empresas de tecnologia de grande destaque e a governos. Mas agora todos, incluindo operadores de infraestrutura crítica, escolas e pequenas empresas, podem começar a usar essa tecnologia para defender suas redes."