Por Randall Stross
Do New York Times
Nos Estados Unidos, os exames padronizados do final do ano letivo geralmente incluem uma redação, o que exige a contratação de humanos para avaliar cada texto. Isso pode mudar. Recentemente, profissionais da ciência da informação e estatísticos amadores participaram de uma competição para desenvolver algoritmos capazes de prever as notas das redações que seriam dadas por avaliadores humanos. Os resultados foram assustadoramente precisos.
A competição foi realizada pelo site Kaggle, que costuma promover disputas para o desenvolvimento de modelos de previsão. O lema do Kaggle é: “Transformando a ciência da informação em esporte”. Alguns dos clientes desse site oferecem prêmios consideráveis em troca da propriedade intelectual usada nos modelos vencedores. A recém-encerrada competição para algoritmos capazes de prever notas atraiu 159 equipes. Ao mesmo tempo, a Fundação Hewlett, em Menlo Park, na Califórnia, patrocinou um estudo sobre a correção automática de redações, que já é oferecida comercialmente. Os pesquisadores concluíram que a correção automática é, na prática, idêntica a de avaliadores humanos.
Barbara Chow, diretora do programa de educação da Fundação Hewlett, disse: “Ouvimos que os algoritmos eram tão bons quanto avaliadores humanos. Por isso, criamos uma plataforma neutra e justa para avaliar a validade do que diziam os vendedores. Descobrimos que eles não exageraram”.
Os algoritmos oferecem um tipo bruto de avaliação. Eles conseguem dar nota à dissertação de um aluno de sétimo ano, por exemplo, mas não consegue comentar o uso das metáforas de um universitário que fez um curso de escrita criativa. O software reduz drasticamente o custo por redação corrigida. E, ao ser aperfeiçoado, poderá apontar os problemas no texto e oferecer explicações completas e exercícios práticos para resolvê-los.
“Proporcionar ao aluno um retorno imediato a respeito de gramática, pontuação, escolha das palavras e estrutura da frase levará a mais tarefas de redação e permitirá que os professores foquem em habilidades mais elevadas”, diz Tom Vander Ark, chefe e executivo da consultoria OpenEd Solutions, que trabalha com a Fundação Hewlett.
Caberia ainda aos professores julgar o conteúdo das redações, porque os alunos podem ludibriar o software, alimentando-o com absurdos factuais que um humano prontamente reconheceria, mas o computador não consegue.
Jason Tigg, de Londres, membro da equipe que ganhou a competição de correção de redações do Kaggle, é um operador que atua em bolsas de valores e que usa enormes conjuntos de dados sobre preços. Mas o software que ele desenvolveu para avaliar redações usa um conjunto de dados relativamente pequeno e computadores comuns. Assim, o custo adicional em infraestrutura para as escolas é nulo. Os laptops dos alunos ainda não possuem o incansável instrutor de redação virtual. Mas a melhora dos modelos estatísticos deixa esse dia cada vez mais próximo.
