Apresentamos o IndQA

Nossa missão é fazer com que a AGI beneficie toda a humanidade. Se a IA for útil para todos, ela precisa funcionar bem em diferentes idiomas e culturas. Cerca de 80% das pessoas no mundo não falam inglês como seu idioma principal, mas a maioria dos benchmarks existentes que medem as capacidades em idiomas não ingleses são insuficientes. 

Os benchmarks multilíngues existentes, como o MMMLU⁠(abre em uma nova janela) estão saturados — os melhores modelos se agrupam perto de pontuações altas — o que os torna menos úteis para medir o progresso real. Além disso, os benchmarks atuais se concentram principalmente em tarefas de tradução ou de múltipla escolha. Eles não capturam adequadamente o que realmente importa para avaliar as capacidades linguísticas de um sistema de IA — entender o contexto, a cultura, a história e as coisas que importam para as pessoas onde elas vivem.

É por isso que criamos o IndQA, um novo benchmark projetado para avaliar o quão bem modelos de IA entendem e raciocinam sobre questões importantes nos idiomas indianos, em uma ampla gama de domínios culturais. Embora nosso objetivo seja criar benchmarks semelhantes para outros idiomas e regiões, a Índia é um ponto de partida óbvio. A Índia tem cerca de um bilhão de pessoas que não usam o inglês como idioma principal, 22 línguas oficiais (incluindo pelo menos sete com mais de 50 milhões de falantes) e é o segundo maior mercado do ChatGPT.  

Este trabalho faz parte do nosso compromisso contínuo de melhorar nossos produtos e ferramentas para usuários indianos e tornar nossa tecnologia mais acessível em todo o país.

O IndQA avalia o conhecimento e o raciocínio sobre a cultura indiana e a vida cotidiana em idiomas indianos. Ele abrange 2.278 perguntas em 12 idiomas e 10 domínios culturais, criadas em parceria com 261 especialistas de domínios de toda a Índia. Diferente de benchmarks existentes como o MMMLU e o MGSM, ele foi projetado para sondar tarefas culturalmente matizadas e de raciocínio complexo que as avaliações existentes têm dificuldade em capturar.

O IndQA cobre uma ampla gama de tópicos culturalmente relevantes, como Arquitetura e Design, Artes e Cultura, Vida Cotidiana, Alimentação e Culinária, História, Direito e Ética, Literatura e Linguística, Mídia e Entretenimento, Religião e Espiritualidade e Esportes e Recreação—com artigos escritos nativamente em bengali, inglês, hindi, hinglish, canarês, marata, oriá, telugu, guzerate, malaiala, punjabi e tâmil. Observação: Adicionamos especificamente o Hinglish devido à prevalência de alternância de código linguístico nas conversas.

Cada ponto de dados inclui um prompt culturalmente fundamentado em um idioma indiano, uma tradução em inglês para auditoria, critérios de avaliação e uma resposta ideal que reflete as expectativas de especialistas.

O IndQA usa uma abordagem baseada em rubrica. Cada resposta é avaliada de acordo com os critérios elaborados por especialistas de domínio para aquela pergunta específica. Os critérios detalham o que uma resposta ideal deve incluir ou evitar, e cada um recebe um valor em pontos ponderado com base em sua importância. Um avaliador baseado em modelo verifica se cada critério é atendido. A pontuação final é a soma dos pontos dos critérios satisfeitos em relação ao total possível.

• Perguntas elaboradas por especialistas. Trabalhamos com parceiros para encontrar especialistas na Índia em 10 domínios distintos. Eles criaram prompts desafiadores e centrados no raciocínio, ligados às suas regiões e especialidades. Esses especialistas são falantes em nível nativo do idioma relevante (e do inglês) e trazem profundo conhecimento do assunto.
• Filtragem adversarial: Cada pergunta foi testada contra os modelos mais fortes da OpenAI no momento de sua criação: GPT‑4o, OpenAI o3, GPT‑4.5 e (parcialmente, após o lançamento público) GPT‑5. Mantivemos apenas as perguntas nas quais a maioria desses modelos falhou em produzir respostas aceitáveis, preservando margem para progresso
• Critérios Detalhados. Junto com cada pergunta, especialistas no domínio forneceram critérios usados para avaliar a resposta do modelo, semelhante a um critério de avaliação de exame para uma pergunta dissertativa. Esses critérios são usados para avaliar as respostas dos modelos candidatos.
• Respostas ideais + revisão. Especialistas adicionaram respostas ideais e traduções em inglês, seguidas de revisão por pares e correções iterativas até a aprovação final.

Usamos o IndQA para avaliar o desempenho dos mais recentes modelos de ponta e mapear seu progresso ao longo dos últimos anos. Com o IndQA, vemos que os modelos da OpenAI melhoraram significativamente ao longo do tempo nos idiomas indianos (com ressalvas⁠), mas ainda há espaço considerável para melhoria. Estamos ansiosos para aprimorar o desempenho e compartilhar resultados para modelos futuros.

Também classificamos o desempenho no IndQA por idioma e domínio, comparando o GPT‑5 Thinking High com outros modelos de ponta.

Como as perguntas não são idênticas entre os idiomas, o IndQA não é um ranking de proficiência linguística; as pontuações entre idiomas não devem ser interpretadas como comparações diretas de habilidade linguística. Em vez disso, planejamos usar o IndQA para medir melhorias ao longo do tempo dentro de uma família ou configuração de modelos.

Além disso, como as perguntas foram filtradas para aquelas que GPT‑4o, OpenAI o3, GPT‑4.5 e (após o lançamento público) GPT‑5 não conseguiram responder de forma satisfatória, a seleção de perguntas é adversária a esses modelos. Isso potencialmente confunde o desempenho relativo do GPT‑5 e pode desfavorecer todos os modelos da OpenAI em comparação com modelos de outras empresas.

Somos gratos aos 261 especialistas indianos — jornalistas, linguistas, acadêmicos, artistas e profissionais do setor — que escreveram e revisaram as perguntas para o IndQA. Alguns exemplos dos especialistas com os quais trabalhamos são:

• Um(a) ator(atriz) e roteirista telugu vencedor(a) do Nandi Award com mais de 750 filmes
• Um(a) jornalista e editor(a) marata no Tarun Bharat 
• Um(a) estudioso(a) de linguística canarim e editor(a) de dicionários.
• Um(a) Grande Mestre(a) Internacional de Xadrez que treina jogadores entre os 100 melhores do mundo
• Um(a) escritor(a), poeta e ativista cultural tâmil que defende justiça social, equidade de castas e liberdade literária.
• Um(a) compositor(a) de música punjabi premiado(a)
• Um(a) curador(a) de patrimônio e especialista em conservação guzerate
• Um(a) poeta malaiala e artista performático premiado(a)
• Um(a) professor(a) de história, especializado(a) na rica herança cultural de Bengala
• Um(a) professor(a) de arquitetura, com foco em templos de Odishá

Esperamos que o lançamento do IndQA informe e inspire a criação de novos benchmarks pela comunidade de pesquisa. Perguntas no estilo IndQA são especialmente valiosas em idiomas ou domínios culturais pouco cobertos pelos benchmarks de IA existentes. Criar benchmarks semelhantes ao IndQA pode ajudar os laboratórios de pesquisa de IA a aprender mais sobre as linguagens e domínios com os quais os modelos têm dificuldades hoje, e orientar melhorias no futuro.