O Enem e a Teoria de Resposta ao Item (TRI)

Nesta época do ano, às vésperas do Enem, muitos responsáveis nos procuram para tentar entender melhor a metodologia utilizada na prova, a tal da T.R.I. Afinal, diferentemente das provas objetivas tradicionais, no Enem, o número de acertos do aluno não é uma informação suficiente para avaliar seu desempenho. Neste sentido, nossa intenção é tentar traduzir um pouco dessa complexa teoria e explicar a estratégia transmitida aos alunos. Antes de mais nada, vale uma breve contextualização da prova.

 Um pouco da história do Enem

O Exame Nacional do Ensino Médio – Enem – foi criado em 1998, com a finalidade de ser uma ferramenta de avaliação do aprendizado de alunos do Ensino Médio brasileiro e auxiliar a criação de políticas públicas de educação. O primeiro modelo do exame, utilizado até 2008, tinha 63 questões separadas por disciplinas, além de uma redação, e era aplicado em um único dia. Nesse período, algumas instituições de ensino superior já utilizavam o resultado da prova como forma de ingresso, mas a quantidade de vagas ofertadas era relativamente pequena.

Em 2009, o Enem foi completamente reformulado. O modelo da prova mudou e o exame passou a ocorrer em dois dias (sábado e domingo consecutivos), com suas 180 questões divididas em Áreas do Conhecimento. No sábado, os candidatos faziam as provas de Ciências da Natureza (Biologia, Física e Química) e Ciências Humanas (Filosofia, Geografia, História e Sociologia), com 45 questões cada, num total de 4h30min. No domingo, os candidatos faziam as provas de Linguagens e Matemática, com 45 questões cada, além da Redação, num total de 5h30min.

Depois disso, alguns ajustes foram feitos, em 2017 e 2018, e atualmente as provas ocorrem em dois domingos consecutivos, com uma nova distribuição das áreas por dia: no primeiro domingo, ocorrem as provas de Redação, Ciências Humanas e Linguagens, com duração de 5h30min, e, no segundo domingo, as provas de Ciências da Natureza e Matemática, com duração de 5h.

O Enem ganhou grande importância como processo seletivo e, hoje, é a principal porta de entrada das Universidades Federais brasileiras, por meio do Sistema de Seleção Unificada (SiSU), além de compor os processos seletivos de diversas instituições particulares.

Esse aumento da importância trouxe preocupações e dúvidas, pois também houve mudança na maneira de se fazer o cálculo do resultado de cada participante. Deixou-se de utilizar a Teoria Clássica dos Testes (a quantidade total de acertos) e passou-se a adotar a Teoria de Resposta ao Item.

A Teoria de Resposta ao Item: tentando traduzir um modelo complexo…

Ao ler esta parte, não se assuste: algumas expressões são mesmo complicadas. Vamos tentar simplificar um pouco os conceitos, mas o que importa mesmo é entender como esse conhecimento se desdobra em dicas práticas, que daremos na próxima parte.

Originalmente, a Teoria de Resposta ao Item (TRI) surgiu a partir de uma necessidade: como comparar o grau de habilidade e conhecimentos de pessoas submetidas a provas diferentes, de diferentes matérias, em diferentes épocas e com diferentes graus de dificuldade? Essa comparação é muito difícil quando se aplica a Teoria Clássica dos Testes (TCT) – que leva em consideração apenas a quantidade de acertos em uma prova, independentemente das características das questões que a compunham.

Explico: se uma pessoa acerta 40 questões em Matemática e 40 em Linguagens, aparentemente, ela teria o mesmo grau de habilidade nas duas áreas. Mas, se as provas têm níveis de dificuldade diferentes, essas notas têm “significados” diferentes, que precisam ser traduzidos em uma nota. Outro exemplo: se um aluno acerta 35 questões de Matemática em um ano do Enem e 40 questões em outro ano, isso não significa que ele tenha necessariamente melhorado, pois a prova do ano seguinte pode ter sido mais fácil.

Para conseguir traduzir esses valores, a grande diferença da TRI em relação à TCT está no enfoque da avaliação, que deixa de ser na prova como um todo e concentra-se nos itens (cada item é uma questão da prova).

A aplicação da TRI começa com cada item passando por um processo de “calibração” de seus parâmetros. Isso significa que, para cada questão do Enem, existem três importantes aspectos a serem considerados para transformar o acerto do aluno em uma certa pontuação. Esses aspectos são os seguintes:

• (a) Poder de discriminação: é a capacidade de um item (ou seja, de uma questão) de distinguir os estudantes que têm a proficiência requisitada daqueles quem não a têm.

• (b) Grau de dificuldade: é simplesmente o percentual de acertos que a questão teve quando submetida à testagem.

• (c) Possibilidade de acerto ao acaso: é a análise de que a resposta a uma questão precisa estar em coerência com outras respostas a questões semelhantes. Dito de outro modo, se um aluno acerta uma questão difícil de um certo assunto ou certa habilidade, mas erra as questões fáceis, há uma grande probabilidade de que tenha acertado ao acaso (por “chute” ou por um “raciocínio” que apenas por acaso deu certo, mas não tem base teórica).

Com base nesses parâmetros, e utilizando um complexo modelo matemático, determina-se a Probabilidade do Acerto de cada item, chamada de Curva Característica do Item. É a partir dessa Curva Característica que os acertos e erros de um candidato formam o seu resultado (chamado grau de proficiência):

Calma! Você não precisa entender a matemática por trás desse gráfico! Nós o colocamos aqui apenas para ilustrar como é o processo de obtenção da nota de cada aluno.

Na prática, o que interessa é saber que o grau de proficiência — a nota propriamente dita — não depende apenas da quantidade de acertos, mas das Curvas Características dos Itens acertados e errados. Por isso, é comum dois candidatos acertarem a mesma quantidade de questões no Enem, mas suas notas serem diferentes (ou muito diferentes, em alguns casos).

Outra característica marcante do Enem – consequência da TRI – é que as provas de cada área acabam tendo valores máximos e mínimos muito diferentes, já que as Curvas Características dos itens podem ser muito diferentes de uma área para outra. Em 2015, por exemplo, um candidato que gabaritou a prova de Matemática obteve 1.008,3 pontos, enquanto um candidato que gabaritou a prova de Linguagens obteve 825,8 pontos. A única prova que continua sendo corrigida sem utilização da TRI é a Redação e, portanto, tem sua nota variando de 0,0 a 1000,0.

A utilização da TRI no Enem gerou, inicialmente, muitas críticas, devido à dificuldade de compreensão do cálculo dos graus de proficiência obtidos pelos candidatos. Nesse sentido, vale mencionar que a eficácia da TRI é reconhecida mundialmente. Atualmente, além do Enem, a Teoria de Resposta ao Item é utilizada em outros importantes exames ao redor do mundo, como o TOEFL e o SAT.

Como você pode usar a TRI a seu favor?

Pensando em termos práticos, uma boa preparação para o Enem consiste em estabelecer uma estratégia de estudos e de execução da prova para maximizar as notas obtidas. O primeiro passo é, então, entender o principal pressuposto da TRI: um candidato com um certo nível de proficiência tende a acertar os itens de nível de dificuldade menor que o de sua proficiência e errar aqueles com nível de dificuldade maior. Ou seja, a coerência das respostas do participante tem grande impacto no cálculo do desempenho.

O quadro abaixo ilustra um estudo realizado com base nos dados do ENEM 2012. Nesse estudo, as 45 questões da prova de Matemática foram colocadas em ordem crescente de dificuldade e consideraram-se alguns cenários em que um candidato acertaria apenas 20 questões (as 20 mais fáceis, as 20 de dificuldade média e as 20 mais difíceis).

(O estudo completo pode ser acessado aqui)

Note que a incoerência dos dois últimos cenários (muitos erros nas questões mais fáceis) impacta bastante no desempenho, ainda que a quantidade de acertos em cada cenário tenha sido o mesmo. Isso ocorre, pois se espera que um candidato bem preparado acerte as questões mais fáceis e que seus erros concentrem-se nas mais difíceis.  Nesse sentido, a TRI cumpre seu papel ao diferenciar os candidatos pela coerência de seus acertos e erros.

Porém, a prova do ENEM apresenta uma variável que pode ser muito traiçoeira: o tempo. Considerando-se a quantidade de questões e o tempo total de prova, o candidato tem, em média, de 3min a 3min20s para resolver cada questão (ler enunciado, resolver o problema e passar a resposta para o cartão). No caso das provas do primeiro domingo, esse tempo médio exige a realização da Redação em 1 hora.

Na prática, quando há falta de tempo, os candidatos acabam chutando algumas (ou muitas) questões e, naturalmente, erram mais do que acertam (no chute, aleatório, estima-se que, a cada cinco questões, uma seja acertada e quatro sejam erradas). Com isso, as chances do desempenho piorar são grandes, pois é natural que o chute faça um estudante bem preparado acabar errando itens que conseguiria fazer se tivesse tempo, diminuindo seu grau de proficiência.

O controle do tempo é, então, um dos principais quesitos para um resultado excelente no Enem e é, portanto, a base de toda estratégia para a realização da prova. Muitos fatores podem tornar o tempo um grande vilão. Por exemplo: “empacar” em algumas questões, demorando muito mais que os minutos previstos; demorar mais que 1 hora na realização da Redação; aproveitar mal o tempo, devido a cansaço e/ou problemas de concentração.

Assim, uma boa estratégia tem duas premissas: fazer uma excelente Redação e acertar a maioria das questões fáceis, para aumentar a coerência do resultado. A seguir, uma sugestão de estratégia:

• Estabelecer de antemão a ordem de realização das provas: a orientação geral é começar pela área de melhor aproveitamento, mas isso depende de gosto pessoal. No caso das provas do primeoro domingo, é altamente recomendável começar pela Redação.

• Ao executar as provas, fazer pelo menos duas “passadas” nas questões: na primeira, pular questões que sejam demoradas e/ou que o candidato não saiba resolver (marcando essas questões com um X, por exemplo). Isso garante que as questões mais fáceis sejam acertadas, aumentando a coerência do resultado. Nas próximas passadas, fazer as questões puladas, sem exceder o tempo previsto para cada área.

• No caso da Redação, o ideal é utilizar 1h, mas, devido ao peso dessa prova no SiSU, é aceitável demorar mais alguns minutos. O total não deve passar de 1h15min. Lembre-se de que cada 30 minutos a mais gastos na redação significam 10 questões chutadas, em média.

É claro que adaptações na estratégia são possíveis (e bem vindas!). Para isso, treine o máximo possível com Exames anteriores e Simulados! Não tenha medo de experimentar novas estratégias e estabeleça aquela que se encaixa melhor no seu perfil.