Ter tutor de IA não basta para melhorar o aprendizado quando o aluno só pede o gabarito: em um ensaio clínico em cluster de dois anos em 18 escolas de ensino médio do Tennessee, o acesso ao Khanmigo (tutor de inteligência artificial da Khan Academy configurado para orientar sem entregar a resposta) elevou o desempenho em matemática em cerca de 1,3 percentil nacional por período letivo, ou cerca de 0,06 a 0,08 desvio-padrão no ano. O efeito implícito de um ano inteiro de participação ativa chega a cerca de 0,14 desvio-padrão. O freio não foi a tecnologia. Foi o engajamento. Noventa e seis por cento dos alunos experimentaram o chat pelo menos uma vez, mas a mediana só mandou mensagem em um terço dos dias de prática e em apenas 17% das sessões de exercício em que errou. As mensagens foram sobretudo respostas secas ou cliques em prompts prontos. O trabalho é o NBER Working Paper 35620, de Philip Oreopoulos e Nina Low (2026), disponível em https://doi.org/10.3386/w35620, com título One Click Away: AI Tutoring with Khanmigo in a Two-Year School Experiment.
Para quem estuda para concurso da Polícia Rodoviária Federal, o recorte importa porque o mesmo padrão aparece na mesa de estudo caseira. Ter ChatGPT, Claude ou Gemini aberto na aba ao lado da questão não muda, por si só, a retenção. O ganho aparece quando a dúvida vira diálogo: explicar o raciocínio, pedir uma pista, tentar de novo. Não quando a IA só entrega o gabarito. O estudo do Tennessee mede exatamente essa diferença entre acesso e uso real.
O que o estudo Khanmigo mediu em dois anos?
Oreopoulos e Low conduziram um ensaio randomizado em cluster no distrito escolar de Hamilton County, no Tennessee. Três clusters de série por escola, em 18 escolas de ensino fundamental II e médio (middle schools), geraram 53 células de randomização (séries dentro de escolas), com 28 tratadas e 25 de controle. Alunos sorteados passaram a usar a Khan Academy com o tutor Khanmigo durante o bloco diário de reforço de matemática já existente na rede (Response to Intervention). O tutor foi configurado para coach, e não para contar a resposta final. O desenho removeu barreiras clássicas de adoção: software gratuito, tempo de sessão obrigatório, apoio de professor e prompts sugeridos na interface.
Os resultados de desempenho vêm da avaliação de referência do distrito (MAP), com percentil nacional e medidas em escala RIT. A atribuição ao programa elevou a nota em 1,3 percentil nacional por período. Em termos de desvio-padrão, o efeito por ano letivo fica em torno de 0,06, e perto de 0,08 no segundo ano, quando a implementação e a prática foram mais fortes. Como parte dos alunos sai do reforço quando a nota sobe, a estimativa de intenção de tratar dilui o efeito. O efeito implícito de um ano completo de participação ativa no segundo ano chega a cerca de 0,14 desvio-padrão.
Os tratados praticaram, em média, cerca de 30 minutos a mais por semana na Khan Academy (acima de 45 minutos semanais entre os ativos no reforço no segundo ano). Os ganhos acompanharam a prática. O custo declarado ficou em torno de 15 dólares por aluno por ano.
O ganho veio do tutor de IA ou da prática estruturada?
A segunda descoberta do paper é a que mais desmonta o hype. Os ganhos se parecem com os previstos pela mesma plataforma sem assistência de IA. Estimativas quase experimentais de prática na Khan Academy sem Khanmigo apontam retorno por hora de prática próximo do que Oreopoulos e Low medem com o tutor ligado. Os efeitos também cabem na faixa que ensaios de aprendizado assistido por computador já produzem há duas décadas. Em outras palavras: nada nos dados de desempenho exige que o tutor de IA explique o resultado. O programa gerou prática estruturada e, com ela, nota. O chat esteve disponível, mas a dose efetiva de tutoria por diálogo foi baixa.
Isso não prova que o Khanmigo seja inútil quando alguém o usa de fato. Os autores deixam claro que a atribuição move o pacote inteiro (plataforma, tempo, professor, tutor) e que não se pode descartar algum efeito local nas sessões em que houve diálogo. O que o estudo estabelece é outro ponto: a dose realizada de IA foi baixa, e o efeito agregado provavelmente passou pela prática guiada na plataforma, não por conversas densas com o modelo.
Por que 96% experimentaram o chat e quase ninguém dialogou?
Os registros de mensagem, cruzados com os logs de exercício no segundo ano (o ano de implementação mais forte e de maiores efeitos), mostram acesso quase universal e engajamento fino em todas as margens intensivas. Noventa e seis por cento dos alunos mandaram mensagem ao Khanmigo pelo menos uma vez. Ainda assim, a mediana não mandou nenhuma mensagem em dois terços dos dias em que praticou. Mensagens apareceram em apenas 14% das sessões de exercício em geral e em 17% das sessões em que houve erro (as sessões em que um tutor, em tese, seria mais útil). A sessão típica, de qualquer tipo, não contém mensagem ao tutor: a média fica em 0,9 mensagem por sessão, com mediana zero mesmo nas sessões com erro.
Quando o diálogo ocorre, ele não é raso por acaso. Ele é raro. Nas sessões com erro em que alguém fala com o tutor, a conversa chega a uma mediana de três mensagens do aluno e a uma média de cerca de seis e meia. O problema não é só a profundidade da conversa. É a frequência com que ela sequer começa.
A forma das mensagens fecha o diagnóstico. Classificando cada mensagem enviada durante sessões de exercício de matemática, a maior fatia (39,4%) são respostas curtas às perguntas do próprio Khanmigo: números ou frases sem explicação, o que os autores chamam de bare answers. Outros 24,2% são cliques em prompts de ajuda sugeridos pela interface. Mais 12,6% são mensagens de baixo esforço, do tipo “não sei” ou pedido direto da resposta. Mensagens com pergunta matemática ou com um passo de raciocínio somam 14,5%. Off-task (pedido de ensaio, rap, piada, conversa paralela) fica em 9,3%.
Em resumo: a maior parte do “uso” do tutor não é o aluno expor a dúvida e negociar o próximo passo. É responder seco, clicar no botão pronto ou pedir o atalho. Buscar ajuda diante da própria confusão continuou sendo uma escolha, e a maioria declinou na maior parte do tempo. Os autores ligam o padrão a barreiras comportamentais já conhecidas na economia da educação: viés do presente, rotina e evitação de pedir ajuda.
Ter ChatGPT aberto muda a retenção do concurseiro?
Para o concurseiro da PRF, o paralelo é direto. Abrir um modelo generativo ao lado do PDF da lei, do código de trânsito ou do caderno de questões remove a barreira de acesso. Não remove a barreira de engajamento. Se a rotina for colar o enunciado, pedir o gabarito e seguir para a próxima, o estudo do Tennessee sugere que o aluno está reproduzindo exatamente o padrão de bare answer e prompt pronto. Há contato com a IA. Não há diálogo que force reconstrução do raciocínio.
O que o paper descreve como diálogo substantivo é o oposto disso. É formular a dúvida em linguagem própria, mostrar o passo em que travou, pedir uma pista em vez da resposta final, tentar de novo e só então checar. No Khanmigo, o produto foi desenhado para coach e não para entregar a resposta. Mesmo assim, a mediana quase não usou essa margem. Em ferramentas gerais (ChatGPT, Claude, Gemini), o risco de atalho é ainda maior, porque o modelo costuma entregar a resposta completa se o usuário pedir.
O erro comum na preparação de concurso é tratar a presença da IA como proxy de método. O estudo mostra que presença e dose efetiva são coisas diferentes. Noventa e seis por cento “experimentaram”. A mediana dialogou em um terço dos dias de prática. Quem mede o próprio estudo só pelo tempo de tela do chat ou pelo número de abas abertas está medindo o acesso, não o engajamento que o NBER identificou como restrição vinculante.
O que já vale e o que não vale tirar desse RCT?
Já vale: acesso a tutor de IA, mesmo bem configurado, não garante diálogo pedagógico. Em condições favoráveis (tempo obrigatório, professor, software grátis, prompts na tela), a prática na plataforma subiu e a nota acompanhou. O chat, na mediana, ficou de lado. Qualquer projeção sobre “IA na educação” ou “IA no concurso” que ignore a dose real de uso superestima o efeito.
Já vale também: ganhos de nota no Tennessee se alinham ao que a prática estruturada na Khan Academy já produzia sem o tutor. Isso não diz que a IA nunca ajuda. Diz que, neste desenho e nesta população, o efeito agregado não exige a IA para ser explicado.
Não vale: concluir que tutor de IA “não funciona”. O paper não isola o efeito causal do chat nas sessões em que houve diálogo rico. Não vale também extrapolação mecânica de magnitude (0,06 a 0,14 DP) para uma prova objetiva de concurso brasileiro. A população é de alunos de middle school em reforço de matemática nos Estados Unidos. O mecanismo relevante para o concurseiro é outro: a diferença entre usar a IA como atalho e usá-la como interlocutor que obriga a verbalizar o erro.
Não vale vender a ideia de que basta “ter IA”. O próprio abstract do NBER fecha com a frase que organiza a pauta: a restrição vinculante parece ser o engajamento; realizar a promessa da tutoria por IA exigirá enfrentar por que os alunos evitam o diálogo, e não só melhorar o modelo.
Como esse resultado conversa com Harvard e com Bastani/PNAS?
A fila editorial do QbStudy já traz duas peças vizinhas. Uma linha de trabalho ligada a Harvard enfatiza design pedagógico: o formato da tarefa, o freio na resposta e o tipo de feedback mudam o que o aluno aprende com a ferramenta. Outra, associada a Bastani e colegas (incluindo evidência em PNAS), mostra que IA sem freio pode piorar o desempenho quando o aluno faz a prova sozinho depois. O Khanmigo entra no meio desse mapa. O produto foi configurado para orientar sem entregar a resposta (alinhado à ideia de freio e de design). Mesmo assim, no RCT de dois anos, o gargalo observável foi o aluno não entrar no diálogo. Em outras palavras: freio no produto não basta se a rotina do estudante continua sendo resposta seca, clique pronto ou pedido de gabarito.
Para a preparação PRF, a síntese prática é operacional, não motivacional. Antes de pedir a resposta, escreva o que você já tentou. Peça a próxima pista, não o item completo. Feche a aba do chat e refaça a questão do zero. Se a única interação com a IA for colar e copiar, o estudo de Oreopoulos e Low descreve exatamente o seu padrão de uso: acesso alto, diálogo baixo, e efeito que se parece mais com prática estruturada do que com tutoria conversacional.
O que muda na rotina de quem estuda com IA?
O que muda é o critério de qualidade da sessão. Uma sessão “com IA” deixa de ser definida pela presença do modelo e passa a ser definida pela presença de diálogo sobre o erro. No paper, só 17% das sessões com erro geraram mensagem ao tutor. Quem quiser espelhar o lado raro (e potencialmente útil) do uso precisa inverter essa proporção na própria banca: erro deve disparar verbalização, não silêncio nem pedido de gabarito.
O que não muda é a centralidade da prática. Os ganhos no Tennessee rastrearam minutos de exercício na plataforma. Sem volume de tentativa, o chat não tinha o que tutorar. Sem volume de questão, o concurseiro também não tem o que discutir com o modelo. A IA não substitui a série de itens. No melhor cenário do estudo, ela acompanha uma rotina de prática que já estava embutida no horário escolar.
Os autores registram ainda que, mesmo com prompts sugeridos, a maior parte das mensagens continuou sendo resposta curta ou clique. Melhorar o modelo, por si só, não resolve o problema comportamental que o paper mede: buscar ajuda diante da confusão.
Qual é o erro comum ao ler “IA sobe a nota”?
O erro comum é ler o headline do efeito (1,3 percentil por período, 0,06 a 0,08 DP no ano, até 0,14 DP com participação ativa) e atribuir o ganho ao chat generativo. O próprio paper avisa que os ganhos se parecem com prática na Khan Academy sem IA e que a dose de diálogo foi baixa. Outro erro é tratar os 96% de “experimentou o chat” como evidência de adoção profunda. Experimentar uma vez não é engajar. A mediana falou com o tutor em um terço dos dias de prática.
Para quem consome conteúdo de concurso, o risco editorial é o mesmo. Matérias que prometem “revolução da IA nos estudos” sem olhar logs de uso estão vendendo a capacidade do modelo, não o comportamento do aluno. Oreopoulos e Low pedem o contrário: projeções sobre o que a tutoria por IA pode fazer nas escolas (e, por extensão, na preparação individual) devem se apoiar em como as pessoas realmente usam a ferramenta, e não no que a tecnologia consegue fazer em princípio.
O registro do ensaio no AEA RCT Registry é AEARCTR-0013519. A versão em working paper também circula como EdWorkingPaper 26-1551. Os números citados nesta matéria seguem o abstract e o corpo do NBER Working Paper 35620 (DOI 10.3386/w35620).
O que o concurseiro PRF deve levar deste paper?
Leve o mecanismo, não a população. O Tennessee mediu reforço de matemática em middle school. Você mede retenção de legislação de trânsito, direito administrativo, constitucional e criminologia para a prova da PRF. O mecanismo compartilhado é o mesmo: ferramenta de IA disponível não equivale a diálogo que reconstrói o erro. Se a mediana dos alunos com tutor configurado para coach ainda responde seco e clica em prompt pronto, a probabilidade de o concurseiro cair no atalho do gabarito, sem freio de produto, é alta.
Leve também a escala do efeito. Mesmo com prática adicional e custo baixo, o ganho médio por atribuição ficou na casa de décimos de desvio-padrão. Não é milagre. É efeito de programa educacional com dose real de exercício. Quem espera que “só abrir a IA” multiplique a nota está pedindo ao modelo um resultado que o RCT de dois anos não atribui ao chat.
Por fim, leve o critério operacional. Depois de errar uma questão, a sessão útil é a que gera pergunta própria, passo de raciocínio e nova tentativa. A sessão inútil é a que gera só o gabarito. O NBER 35620 mostra que, deixado à própria escolha, o aluno tende à segunda. Desenhar a rotina para forçar a primeira é o ponto em que o estudo deixa de ser notícia de educação americana e passa a ser ferramenta de estudo.
Em QbStudy.com, a linha editorial sobre estudo e performance segue esse critério: fato, dose e mecanismo antes do hype. Ter tutor de IA na tela não basta. O gargalo, no experimento de dois anos com Khanmigo, foi o engajamento.