Melhorar a utilização de computadores com a Ironclad

Quando apresentámos o GPT‑6 Astra, demonstrámos o quanto os nossos modelos evoluíram na utilização de computadores para trabalho profissional, desde a preparação de documentos até ao teste de sites. O nosso próximo objetivo é tornar os agentes mais capazes e eficientes na utilização de software especializado para resolver problemas empresariais complexos. Estamos a explorar formas de treinar os modelos para compreenderem as regras de negócio de uma empresa, executarem fluxos de trabalho com várias etapas e verificarem se o seu trabalho cumpre os requisitos originais.

Para acelerar esta investigação, estamos a estabelecer parcerias diretas com um pequeno número de empresas de software que conhecem estes fluxos de trabalho melhor do que ninguém. Em conjunto, estamos a identificar tarefas exigentes e de elevado valor e a transformá-las em problemas de investigação para treinar e avaliar os nossos modelos. O objetivo final é torná-los mais capazes e úteis em aplicações empresariais reais.

O nosso primeiro parceiro é a Ironclad, líder em gestão contratual com IA. Em estreita colaboração com a equipa da Ironclad, desenvolvemos tarefas que exigem que os agentes configurem contratos, aprovações e condições jurídicas reutilizáveis, e demonstrámos progressos nestes fluxos de trabalho complexos. A experiência da Ironclad tem sido fundamental para definir o que constitui um resultado bem-sucedido e trazer as necessidades reais dos clientes diretamente para o desenvolvimento de modelos de fronteira. Agradecemos esta parceria e temos o prazer de partilhar o que alcançámos em conjunto.

O GPT‑6 Astra é o nosso primeiro modelo de fronteira treinado com tarefas da Ironclad. Na nossa avaliação de investigação, a sua pontuação média foi 32% superior à do GPT‑5.6 Sol, enquanto o tempo estimado por tentativa foi 48% inferior.¹

Imagine uma equipa de operações jurídicas a configurar um processo de compra de software. A equipa financeira poderá ter de aprovar compras acima de um determinado valor, a equipa de segurança poderá ter de analisar certos pedidos e a equipa jurídica poderá ter de rever condições não padronizadas. A pessoa que configura o processo tem de transformar essa pequena lista num formulário de pedido, modelos de documentos, regras de aprovação e um registo do contrato final.

Um agente de IA que faça o mesmo trabalho tem de ter esses requisitos presentes à medida que navega no software. Por exemplo, tem de configurar a aprovação pela equipa financeira acima do limite de despesa e verificar se os pedidos acima e abaixo desse limite seguem os percursos corretos. Não basta executar corretamente cada etapa: o processo final tem de funcionar nas diferentes situações para as quais foi concebido.

Colaboradores da Ironclad e pessoas que utilizam a Ironclad na OpenAI ajudaram os nossos investigadores a identificar 11 tarefas nas áreas jurídica, comercial e de compras. Estas incluíam tarefas como configurar acordos de confidencialidade, criar processos de aprovação de compras e atualizar uma cláusula jurídica reutilizável para refletir a jurisdição selecionada por quem faz o pedido. Estimamos que um utilizador experiente demoraria, em média, cerca de 30 a 40 minutos por tarefa a realizar este trabalho.

Avaliámos cada tarefa segundo 8 a 50 critérios, consoante a sua complexidade. Isto permitiu-nos perceber que partes o modelo executou corretamente e onde ficou aquém do esperado. A Ironclad disponibilizou também ambientes alojados do seu produto, nos quais os modelos podiam praticar estas tarefas. Os nossos investigadores desenvolveram tarefas de treino sintéticas² com base em fluxos de trabalho representativos e utilizaram a aprendizagem por reforço para ajudar os modelos a melhorar através da prática e do feedback. Esta combinação — tarefas selecionadas com pessoas que conhecem o trabalho, critérios detalhados e um ambiente onde os modelos podem praticar — garante que estamos a melhorar o desempenho nas tarefas reais mais importantes para os nossos clientes.

Comparámos o Astra e o GPT‑5.6 Sol com o nível de raciocínio Max no Astra e Elevado no Sol, as definições com que cada modelo obteve a pontuação mais alta. Nas 11 tarefas de investigação, a pontuação média do Astra foi de 55,0%, face a 41,6% do GPT‑5.6 Sol, enquanto o tempo médio estimado por tentativa passou de 37,0 minutos no Sol para 19,2 minutos no Astra.³ Um modelo interno utilizado no desenvolvimento do Astra alcançou um resultado ainda melhor, de 63,7%, nestas tarefas, e pretendemos incorporar estes ganhos adicionais em modelos futuros.

O Astra cumpriu mais requisitos das tarefas com menos tempo simulado por tentativa. Os dois vídeos abaixo mostram como os modelos executaram a mesma tarefa de investigação. O Astra (primeiro vídeo) cumpriu cerca de 94% dos critérios da tarefa num tempo estimado de 20 minutos; o GPT‑5.6 Sol (segundo vídeo) cumpriu cerca de 85% num tempo estimado de 32 minutos.

O papel da Ironclad neste trabalho reflete um desafio que os seus clientes conhecem bem: um processo de gestão contratual tem de lidar com exceções sem deixar de respeitar as regras de que uma empresa depende. Se um agente deixar de ter em conta uma dessas regras a meio de uma tarefa, isso limita o que uma empresa de software lhe pode pedir com confiança. Isto mostra por que razão a supervisão humana continua a ser importante à medida que os agentes melhoram em tarefas complexas de gestão contratual e por que razão uma plataforma completa de gestão contratual continua a ser essencial. Ao trabalhar com os nossos investigadores, a Ironclad pode trazer estes problemas para o desenvolvimento do modelo subjacente, onde os podemos estudar em conjunto.

À medida que os modelos se tornam mais capazes, a Ironclad tem a oportunidade de os utilizar em mais produtos seus. Para as equipas jurídicas e de negócio, isto poderá significar que a IA assume uma maior parte do trabalho envolvido na gestão de contratos complexos, mantendo os mecanismos de controlo de que essas equipas dependem.

Estamos a convidar um pequeno número de empresas de software para trabalhar diretamente com as nossas equipas de investigação e engenharia em tarefas profissionais importantes que os agentes atuais ainda não conseguem concluir de forma fiável. Se a sua equipa tiver uma tarefa deste tipo, gostaríamos de ver um exemplo concreto: o que está a pedir ao agente, provas de onde falha e como avaliaria um resultado bem-sucedido. Os parceiros devem também poder disponibilizar pessoas que conheçam o trabalho a fundo, um ambiente seguro para testes e dados que possam ser utilizados em segurança para investigação. Isto dá-nos um ponto de partida para investigar a falha e avaliar se o modelo melhora.

Se a sua equipa corresponde a este perfil, candidate-se para explorar uma colaboração de investigação.