Novas ferramentas para entender a IA e os resultados de aprendizagem

A educação é uma das frentes mais promissoras da IA. Com ferramentas como o ChatGPT, o apoio personalizado à aprendizagem pode estar disponível para qualquer estudante, em qualquer lugar, a qualquer momento.

Mas o setor educacional ainda está no começo de sua compreensão sobre o impacto da IA nos resultados de aprendizagem. No ano passado, nossa equipe começou a estudar o uso de ferramentas como o modo estudo⁠ e encontrou ganhos promissores no desempenho dos estudantes. Mas nossa pesquisa também levantou uma questão importante: como podemos avaliar como a IA influencia o progresso de um estudante ao longo do tempo, e não apenas em uma prova final?

Esse é um desafio mais amplo do ecossistema. Até hoje, a maioria dos métodos de pesquisa se concentra em sinais estreitos de desempenho — como notas de provas — e não consegue avaliar como estudantes realmente aprendem com IA em contextos do mundo real e como esse uso molda os resultados ao longo do tempo. 

Para preencher essa lacuna, desenvolvemos o Learning Outcomes Measurement Suite, um framework criado com a Universidade de Tartu, da Estônia, e a SCALE Initiative no Stanford Accelerator for Learning para apoiar a medição longitudinal de resultados de aprendizagem em diferentes contextos educacionais. 

Uma validação ampla está em andamento por meio de um ensaio controlado randomizado, e mais pesquisas estão previstas com organizações fundadoras do Learning Lab, o ecossistema de pesquisa em aprendizagem da OpenAI, incluindo pesquisadores da Arizona State University, UCL Knowledge Lab e MIT Media Lab (com base em estudos colaborativos anteriores⁠).

Hoje, estamos compartilhando uma visão geral de como a suíte de medição funciona e por que isso é importante. Com o tempo, pretendemos publicar mais pesquisas e disponibilizar a suíte de medição como um recurso público para escolas, universidades e sistemas de ensino no mundo todo.

• Os métodos de pesquisa atuais sobre o impacto da IA na aprendizagem mostram sinais promissores de desempenho, mas não capturam o quadro completo de como a IA afeta os resultados de aprendizagem ao longo do tempo.
• Pela primeira vez, o Learning Outcomes Measurement Suite vai oferecer um framework padrão para estudos longitudinais que ajudam educadores, pesquisadores e instituições a entender como a IA molda a aprendizagem e os resultados em diferentes contextos.
• O Learning Lab da OpenAI é um novo ecossistema de pesquisa focado em avançar esse trabalho. A OpenAI vai publicar descobertas junto a uma variedade de parceiros à medida que o campo continua evoluindo.

Quando estudantes usam ferramentas de IA para estudar e aprender, isso pode significar muitas coisas — desde recorrer à IA para respostas rápidas até usá-la para resolver problemas passo a passo com uma orientação semelhante à de um tutor. Para incentivar usuários a interagir com o ChatGPT de formas que apoiem uma compreensão mais profunda e o desenvolvimento de habilidades, a OpenAI lançou o modo estudo⁠ no ano passado.  Nos bastidores, o modo estudo é viabilizado por instruções de sistema personalizadas que escrevemos em colaboração com professores, cientistas e especialistas em pedagogia para refletir um conjunto central de comportamentos que apoiam a aprendizagem de verdade, e não apenas respostas — usando suporte gradual, verificações de compreensão e prática guiada.

Para testar se esse tipo de estilo de interação com IA, alinhado à pedagogia, se traduz em melhores resultados de aprendizagem, conduzimos um estudo randomizado com mais de 300 estudantes universitários se preparando para provas de neurociência e microeconomia. Embora a análise ainda esteja em andamento, os resultados iniciais nos dão confiança de que um estilo de interação com IA alinhado à pedagogia, incentivado por recursos como o modo estudo, pode melhorar os resultados de aprendizagem. Mas esta pesquisa também trouxe à tona uma realidade importante: o que realmente importa é se os ganhos e os comportamentos produtivos associados se mantêm ao longo do tempo.

Desenho do estudo

Os participantes foram designados para um de três grupos: um grupo de controle estudou usando recursos online tradicionais, como Google Search e YouTube, com recursos de visão geral gerados por IA desativados, enquanto dois grupos adicionais tiveram acesso a uma de duas variantes do modo estudo, projetadas para guiar estudantes pelo processo de aprendizagem de maneiras ligeiramente diferentes. Quizzes iniciais e questionários de entrada foram coletados previamente para ajustar diferenças na exposição a disciplinas anteriores, hábitos de estudo, confiança acadêmica e familiaridade com ferramentas de IA. Os estudantes concluíram sessões cronometradas do modo estudo antes de cada prova, com as duas variantes do modo estudo distribuídas de forma contrabalanceada entre as disciplinas.

Esse desenho foi pensado para refletir condições reais de estudo, em vez de um ambiente de laboratório rigidamente controlado. A participação não estava vinculada ao desempenho nas provas, e nem todos os estudantes usaram o modo estudo na mesma intensidade durante as sessões nominais de 40 minutos. Isso nos permitiu medir e reportar efeitos de intenção de tratar (ITT): o impacto de ter acesso à ferramenta em condições realistas de disponibilização — em outras palavras, o impacto causal de receber a oferta do modo estudo, reconhecendo que o engajamento pode variar na prática.

Resultados

Medimos o desempenho em cada prova separadamente. No nosso estudo randomizado, as melhorias não foram uniformes entre as disciplinas, e os níveis de engajamento com o modo estudo variaram entre os participantes. 

• Neurociência (ITT primário): observamos diferenças com tendência positiva para o modo estudo em relação ao controle, mas os resultados não foram distinguíveis dos de estudantes que estudaram com recursos online tradicionais. Alguns problemas de integração e questões técnicas afetaram o tempo dedicado aos estudos entre estudantes que usaram o modo estudo. 
• Microeconomia (ITT primário): observamos ganhos relevantes no desempenho na prova entre estudantes designados com acesso ao modo estudo, em comparação com o grupo de controle sem IA — com uma pontuação aproximadamente 15% maior, em termos relativos.

Embora isso reflita a variação do mundo real, evidenciou uma limitação mais profunda em como os resultados de aprendizagem normalmente são medidos.

A maioria das abordagens de avaliação existentes se apoia em intervenções fixas avaliadas em janelas curtas, usando resultados como notas de provas ou redações finais como sinais principais. Esses métodos não foram concebidos para capturar o mecanismo central pelo qual a IA afeta a aprendizagem na prática: interações contínuas e personalizadas que evoluem junto com as estratégias, preferências e hábitos de estudo do próprio estudante. Também não revelam se melhorias em uma capacidade, como a lembrança de curto prazo, podem vir acompanhadas de compensações em outras, como persistência, motivação autônoma ou resolução criativa de problemas. Como resultado, eles deixam de capturar os efeitos cognitivos longitudinais que, em última instância, determinam se a IA melhora a aprendizagem de forma significativa.

Como os ambientes de aprendizagem variam amplamente entre países, currículos e objetivos institucionais, os resultados de estudos pontuais raramente se generalizam entre sistemas. Por isso, as abordagens de medição precisam ser flexíveis o suficiente para que diferentes sistemas educacionais definam como é o sucesso em seu contexto, avaliem a IA pelos seus próprios padrões e iterem a partir disso.

Construindo um sistema de medição melhor

Com base nos aprendizados da pesquisa da OpenAI sobre o modo estudo, temos construído um sistema estruturado de medição para avaliar, em escala, o impacto da IA sobre estudantes e criar um mecanismo para aprimorar modelos com base nesses resultados. Ele se baseia em três sinais: como o modelo se comporta, como estudantes respondem e quais resultados cognitivos mensuráveis surgem ao longo do tempo. Ele inclui: 

• Instruções de sistema para refinar o comportamento do modelo: uso de linguagem natural para mudar o comportamento padrão do modelo, alinhando-o melhor a abordagens pedagógicas específicas.
• Classificadores de interações de aprendizagem: detectam automaticamente "momentos de aprendizagem" dentro de interações reais, desidentificadas, entre estudante e modelo e rotulam características salientes, como engajamento e correção de erros.
• Avaliadores da qualidade da aprendizagem: avaliam e pontuam cada um desses momentos de aprendizagem com base em se o estudante atingiu seu objetivo e no grau em que a interação seguiu princípios pedagógicos sólidos, incluindo a identificação de modos de falha.
• Avaliadores longitudinais de aprendizagem: acompanham mudanças, ao longo do tempo, nas interações do mesmo estudante com o modelo — incluindo engajamento, persistência e estratégias metacognitivas — nos níveis individual e de coorte.
• Medidas cognitivas e metacognitivas padronizadas: são instrumentos validados por terceiros aplicados via ChatGPT antes/durante/depois do acesso, para estabelecer linhas de base e medir mudanças em capacidades fundamentais, como pensamento crítico, criatividade e memória.

Quando combinados, nos referimos a esse sistema de medição como o Learning Outcomes Measurement Suite. 

Ele produz sinais importantes que o ecossistema educacional pode usar: visões estruturadas de momentos de aprendizagem, painéis que mostram como os resultados mudam ao longo do tempo em diferentes coortes, indicadores do desempenho do modelo em relação a rubricas de ensino e tutoria, e medidas de resultado alinhadas a avaliações padronizadas e a questionários curtos para estudantes. Quando disponível, ele pode incorporar dados de referência (ground truth) fornecidos por parceiros, como notas de provas, observações em sala de aula ou frequência.

Ele também permite que nossos parceiros entendam os impactos cognitivos mais profundos do uso de IA para aprendizagem ao longo do tempo, já que, por meio desse sistema, também conseguimos acompanhar o impacto em capacidades como:

• Motivação autônoma: o grau em que estudantes conduzem seus próprios estudos vs serem direcionados pelo modelo 
• Engajamento produtivo: a frequência, a variedade e a qualidade das interações pedagógicas
• Persistência na tarefa: o grau em que um estudante se mantém e avança diante de desafios cognitivos
• Metacognição: a frequência e a qualidade dos esforços do estudante para planejar, refletir e monitorar suas abordagens de estudo
• Recordação: a precisão com que um estudante consegue lembrar conteúdos de interações anteriores

Isso reflete nossos esforços para não focar apenas em definições estreitas de resultados de aprendizagem (como aumento de notas em provas), mas nas capacidades holísticas que sustentam a aprendizagem. Isso também reflete nossa crença de que não haverá uma solução única sobre o que otimizar: sistemas e educadores precisarão ter autonomia para orientar as compensações em alinhamento com boas práticas e abordagens pedagógicas.

Para onde vamos a partir daqui?

Estamos validando o Learning Outcomes Measurement Suite por meio de estudos em larga escala antes de disponibilizá-lo amplamente. Esse trabalho está em andamento com a Universidade de Tartu e a SCALE Initiative de Stanford junto a parceiros em escala nacional, como a Estônia, onde a suíte de medição está sendo estudada com quase 20.000 estudantes de 16 a 18 anos ao longo de vários meses. O uso pelos estudantes acontecerá em estreita colaboração com líderes locais, para garantir segurança e alinhamento aos currículos locais.

Este trabalho se apoia em um corpo mais amplo de pesquisas colaborativas em andamento. Além da pesquisa de resultados conduzida por parceiros fundadores no Learning Lab, a OpenAI está apoiando estudos na interseção entre aprendizagem e trabalho — examinando como a IA molda as trajetórias acadêmicas dos estudantes, decisões de carreira e as formas como instituições podem apoiar uma adoção responsável. Essa pesquisa está acontecendo na Bocconi University, na Innova Schools e na Tuck School of Business at Dartmouth, na San Diego State University, na Stony Brook University e em outras instituições.

À medida que conduzimos estudos de longo prazo sobre como estudantes aprendem melhor com IA, pretendemos compartilhar descobertas e trabalhar com o ecossistema educacional mais amplo para garantir que a IA beneficie estudantes em todos os lugares.

Quem tiver interesse em receber atualizações sobre esse trabalho pode se inscrever aqui⁠.