ChatGPT i resultats de l'aprenentatge

Als darrers Arnau de Vilanova es van presentar, com sempre, bons treballs d'alumnes. Tanmateix, n´hi va haver tres que em cridaven l'atenció. Eren endreçats, citaven com a fonts treballs on line. Tenien parts ben escrites i organitzades, però d'altres estaven desorganitzades i en algún cas patien d'alguna contradicció flagrant o algún defecte evident, com no definir un dels conceptes bàsics del treball. Un d'ells, a més, només tenia el títol "Monografia filosofia".

No eren uns treballs  excel·lents, com d'altres. Però, a més, hi havia una cosa estranya. D'una banda l'organització general i alguns fragments eren perfectes, i de l'altra palesaven els defectes que hem esmentat. Un destacava perquè tota la bibliografia era en anglès; en l'altra citava bibliografia que no tenia a veure amb el treball. Repetia fragments. Tot feia olor d'haver fer servir algun programa d'intel·ligència artificial. Tanmateix, no ho vam comprovar.

Però això planteja el problema de l'entrada de la intelligència. artificial en l'educació. Com fer-la servir educativament,  com acompanyar l'alumnat en el seu ús. I, des del punt de vista de qui ha de jutjar un resultat, com és el el cas dels nostres premis, com detectar quin és el mèrit, quins son els aprenentatges en les matèries de filosofia que han produit aquest resultat.

Una manera seria que s'indiqués si el treball ha estat fet amb IA. Aleshores caldria afegir, com diu Francesc Pujol, quin ha estat el treball amb ChatGPT, quines preguntes s'han formulat, com s'han comprovat  o contrastat les respostes del programa. Per dir-ho breument, si s'han posat en joc criteris de judici, i no algoritmes informàtics.

En fi, un repte.

Després d'haver escrit això, vaig a la pàgina de ChatGPT i li demano Cómo juzgar un trabajo escolar hecho con ChatGPT? La resposta se sembla molt al que havia pensat en començar el post.

"Juzgar un trabajo escolar hecho con ChatGPT puede ser un desafío porque la herramienta puede producir respuestas bien estructuradas, coherentes y detalladas. Sin embargo, hay algunas estrategias que puedes usar para identificar si un trabajo fue generado con la ayuda de una IA:

1. Estilo de escritura

• Los textos generados por IA suelen tener un estilo muy formal o "neutral". A veces, pueden carecer de una voz personal o de matices propios de un escritor.
• Si el trabajo suena excesivamente pulido o demasiado estructurado, podría ser una señal de que fue generado por un modelo de lenguaje.

2. Falta de ejemplos específicos o detalles personales

• Los textos generados por IA a menudo tienden a ser generales y pueden carecer de ejemplos específicos o anécdotas que demuestren una comprensión profunda o experiencia personal.
• Si el trabajo presenta temas de manera muy teórica o abstracta, podría ser una señal de que no fue escrito desde una perspectiva personal o investigada.

3. Inconsistencias o errores sutiles

• Aunque ChatGPT puede generar textos muy coherentes, a veces comete errores sutiles que no son obvios a simple vista. Por ejemplo, puede mezclar datos, ofrecer conclusiones erróneas o saltar entre ideas sin transiciones claras.
• Asegúrate de que los datos citados sean precisos y que las conclusiones del trabajo tengan sentido lógico.

4. Falta de citas o referencias correctas

• Los trabajos generados por ChatGPT pueden presentar información valiosa, pero a menudo carecen de citas precisas de fuentes. Si el trabajo no menciona de dónde proviene la información o no tiene un formato de citas adecuado (si corresponde), esto puede ser una señal de que fue generado por IA.

5. Verificación de plagiado

• Algunos programas de detección de plagio no identifican los textos generados por IA como plagio, pero pueden ser útiles para ver si el trabajo coincide con textos ya disponibles en internet.
• Sin embargo, ten en cuenta que, aunque no se pueda detectar directamente si se usó IA, estas herramientas pueden encontrar fuentes similares a las que el modelo de lenguaje pudo haber usado como base.

6. Entrevista o conversación sobre el trabajo

• Una de las mejores maneras de confirmar si un estudiante realmente comprendió el tema es hacerle preguntas sobre el contenido del trabajo. Si no puede explicar en detalle lo que ha escrito o muestra dificultades para profundizar en el tema, eso podría indicar que no lo hizo por sí mismo.

7. Uso de herramientas para detectar contenido generado por IA

• Existen herramientas como GPTZero o AI Text Classifier que están diseñadas para detectar si un texto ha sido generado por una inteligencia artificial. Estas herramientas pueden proporcionar una estimación de la probabilidad de que un texto haya sido creado con ChatGPT u otras IA de lenguaje.

8. Análisis de la fluidez del lenguaje

• ChatGPT puede generar textos fluidos, pero a veces utiliza construcciones demasiado complejas o repetitivas. Esto puede ser una pista de que el trabajo fue creado por una IA.

9. Evaluación del trabajo según el contexto de aprendizaje

• Si un estudiante entrega un trabajo que no refleja el nivel de su conocimiento previo o sus habilidades de redacción, podría ser una señal de que ha recurrido a herramientas como ChatGPT.

En resumen, una combinación de observación del estilo de escritura, la consistencia del contenido, la falta de citas y el uso de herramientas de detección de IA pueden ayudarte a juzgar si un trabajo fue realizado con la ayuda de ChatGPT. Además, las conversaciones con los estudiantes sobre sus trabajos y su comprensión del tema pueden ser cruciales para verificar su autenticidad."

Llicó, per començar: pensar com ho faries abans de demanar a  la IA. Això et dona criteris per jutjar!!