Un software evalúa automáticamente la calidad de cualquier composición escrita

Escribir bien es una habilidad necesaria y valorable en el ámbito educativo, profesional, pero también social, de ahí el interés creciente por encontrar fórmulas fiables y eficientes para mejorarla y evaluarla. En ello trabaja un equipo de la Universidad de Delaware (UD), en Estados Unidos, coordinado por el profesor Joshua Wilson, para lo que han puesto a prueba una herramienta que pretende servir de apoyo a la educación y ayudar también a escritores con dificultades.

Se trata de PEGWriting, un software basado en el trabajo de la investigadora Ellis B. Page y comercializado por la compañía de servicios educativos Measurement Incorporated, que sufraga la investigación. El software utiliza algoritmos para medir más de 500 variables que se pueden dar en un texto, para ofrecer resultados y explicaciones en torno a aspectos de la calidad de escritura como el desarrollo de la idea, organización, estilo, selección de palabras, estructuras y otros detalles como la ortografía y la gramática.

Hasta ahora, los investigadores habían comprobado que las evaluaciones realizadas por programas informáticos se asemejan a las de un profesor de carne y hueso, por lo que se esmeran por mejorar la precisión. Sin embargo, el estudio de Wilson es el primero en examinar cómo el software se puede utilizar como un complemento a la educación, en conjunto, y no simplemente como una máquina para corregir independiente.

Según explica la UD en un comunicado, el equipo demostró en investigaciones anteriores que los profesores que utilizan el software pueden dedicar más tiempo a explicar habilidades de la escritura de más alto nivel, en relación a las ideas, organización o selección de palabras. Por el contrario, los que utilizan métodos estándar tienen que dedicar más tiempo a la ortografía, puntuación, al uso de mayúsculas y a la gramática.

Los beneficios de la automatización están ahí. Si el software proporciona evaluaciones aceptables, señalando de forma rápida los errores, reduce el tiempo que necesita el docente para explicar y, sobre todo, para corregir.

Razonamiento cero

Mientras una persona puede tardar cinco minutos para dar una valoración global de un escrito, el sistema automatizado puede procesar miles a la vez, ofreciendo resultados en cuestión de segundos. Sin embargo, los ordenadores son analfabetos, no comprenden. Las puntuaciones que otorgan a las redacciones se basan en ecuaciones matemáticas, que asignan o restan valores de acuerdo a las instrucciones del programador. No entienden cómo progresa un estudiante ni tienen la paciencia necesaria con alguien que está empezando a aprender inglés.

Estas deficiencias informáticas son algunas de las razones por las que muchos profesores -incluyendo el Consejo Nacional de Profesores de Inglés - rechazan rotundamente este tipo de programas de evaluación. Sin embargo, el estudio de Wilson ha demostrado las ventajas que supone tanto para los profesores, como en el rendimiento y aprendizaje del alumnado.

En lugar de utilizar la herramienta simplemente para entregar resultados de corrección rápidos, los investigadores querían comprobar los beneficios durante todo un curso escolar. Para ello, distribuyeron suscripciones del software libre proporcionadas por Measurement Incorporated entre maestros de tercer, cuarto y quinto grado de las Escuelas de Primaria Anna P. Mote y Heritage, en el mismo distrito que la UD, para que lo probaran durante el último año.

Como resultado, los educadores no descartan la idea de la automatización. De hecho se cuestionan su uso, al igual que calculadoras u otro tipo de dispositivos electrónicos que utilizan rutinariamente. “¿Se arrepienten los profesores de matemáticas el día que los estudiantes no resuelven los cálculos por sí mismos?" se cuestiona Wilson.

¿Aprender o ganar?

El investigador escuchó todo tipo de críticas sobre el uso del software en el aula cuando se reunió con los maestros a principios de junio. Al parecer, a los estudiantes les gustaron los aspectos más asociados con un juego del programa, aumentando un poco su motivación para escribir. Al obtener resultados inmediatos de sus calificaciones, muchos se esforzaron para elevar sus puntuaciones, bien corrigiendo errores o revisando su trabajo una y otra vez. "Fue divertido. Muchas veces durante el recreo mis estudiantes me pedían PEGWriting", recordaba un profesor.

Sin embargo, ese mismo tipo de puntuación rápida desanimó a otros estudiantes, que no pudieron encontrar la forma de mejorar a pesar de esforzarse. “Eso demuestra la importancia del papel del profesor”, subraya Wilson, pues debe ser éste quien ayude al alumno a interpretar y aplicar sus explicaciones.

Según los maestros, algunos estudiantes se desanimaban cuando el software no aceptaba su redacción por algún error interno. Otros se dieron cuenta que podían cortar y pegar para conseguir puntuaciones más altas, sin entender que el plagio no es aceptable. Por cuestiones como estas resulta esencial el papel del profesor.

El siguiente paso es investigar cómo puede el profesorado utilizar con eficacia este tipo de herramientas y detectar para qué tipo de formación se le puede sacar más provecho.