Confundindo a beira da estrada com a Estrada da Beira

Estamos na semana em que se voltam a confundir rankings dos alunos das escolas com rankings das escolas dos alunos. Como quem faz os exames são os alunos e não as escolas, quando dizemos que uma determinada escola está no topo do ranking, o que de facto devíamos dizer é que os alunos dessa escola estão no topo. Isto de as escolas se apropriarem dos resultados dos alunos é muito pouco católico. Para dizer que é a escola que está no topo, seria necessário argumentar que, se aqueles alunos estivessem noutra escola, teriam resultados piores. Ora, esse argumento é difícil de fazer.

Para se fazer um ranking de escolas bem feito, seria necessário estimar os principais determinantes da performance dos estudantes — escolaridade dos pais, status económico, se teve explicações privadas ou não, se a escola seleciona alunos, se os expulsa, etc., etc. e muitos outros eteceteras. Depois disso, o que sobrasse, além de alguma aleatoriedade natural, seria o efeito da escola. Aí sim, podíamos fazer um ranking de escolas com algum sentido.

Neste momento, quem se dá ao trabalho de pensar um pouco já percebeu que os rankings como tradicionalmente eram feitos pouco mais eram do que desinformação. Por isso, surgiram novas formas de fazer rankings, em que se tenta perceber o que seria a performance esperada de um aluno, dado o seu contexto socio-económico, e se a compara com a sua performance real. Digamos que se tenta estimar qual o valor acrescentado que a escola dá e fazer rankings com base nesse valor acrescentado.

É uma melhoria, mas é muito imperfeita ainda. Não só porque, no cálculo dessa performance esperada, faltam muitas variáveis (até porque as escolas privadas fornecem muito poucos dados referentes às famílias dos seus estudantes), mas também porque é impossível contornar o problema de seleção de amostra. É sempre impossível garantir, por mais variáveis que se consigam observar, que não há nenhum especto não observável que seja determinante na seleção que as escolas fazem dos alunos. Apesar de todos estes defeitos, estes rankings alternativos são um progresso em relação à desinformação que tínhamos antes e em relação aos rankings crus, que continuam a ser os que prendem mais a atenção do público e dos ‘opinion makers’.

A única forma de fazer um ranking bem feito seria distribuindo de forma aleatória alguns alunos pelas diferentes escolas da sua área. Mesmo isso, apenas serviria para fazer rankings locais dado que, evidentemente, não se pode pegar num estudante de 12 anos da Covilhã e mandá-lo para a Horta, no Faial.

Dito isto tudo, é evidente que estes rankings dão informação útil para quem os quiser usar devidamente. Por exemplo, o diretor de uma escola pode usá-los para avaliar como a sua escola evolui ao longo do tempo, para tentar melhorar. Nesse caso, como quase de certeza que o contexto socio-económico não muda de um dia para o outro, a comparação da mesma escola ao longo de diferentes pontos no tempo é valida.

Outro exemplo, uma escola que esteja muito bem nos rankings é, evidentemente, uma escola que funciona bem. Bons ingredientes são necessários para fazer um bom prato, mas, se for eu a cozinhar, quase de certeza que sai uma porcaria. Uma escola que esteja no topo dos rankings obviamente que tem excelentes alunos, mas também é evidente que, se os professores dessa escola ensinassem como eu cozinho, os estudantes não conseguiriam tão boas notas (a não ser, claro, que seja à custa de explicações extra-escola).

Em jeito de conclusão. É útil saber quais são as notas médias dos alunos das várias escolas. Infelizmente, esta informação é tipicamente transmitida e usada da forma mais inútil e perniciosa possível.