ChatGPT divise la communauté des enseignants. Certains l'accusent de faciliter la tricherie, d'autres préfèrent l'envisager comme un outil pédagogique. Le débat est particulièrement vif pour ce qui concerne l'évaluation des écrits : les mémoires, les rapports de stage, les dossiers… Comment distinguer ce qui relève de la production originale de l'apprenant, donc de sa propre réflexion, et ce qui relève de la recherche effectuée avec l'intelligence artificielle ? S'il n'existe pas encore de règles officielles concernant l'usage des IA dans les évaluations, un certain nombre de pistes émergent pour repenser les modalités d'évaluation. Cet article propose de les passer en revue.

Dernièrement, Le Living lab Sofa s'était entretenu à plusieurs reprises avec Xavier Aimé, enseignant au Cnam et chercheur en Intelligence Artificielle. Ces entretiens avaient donné naissance à plusieurs articles publiés sur le site du Living Lab du Cnam : un épisode 1 sur les opportunités d'usage de cet agent conversationnel, un épisode 2 montrant comment l'utiliser pour faire un jeu de rôle, et un épisode 3 sur la manière dont les apprenants s'en emparaient. Il était donc tout naturel de revenir vers lui pour aborder cette problématique spécifique de l'évaluation.

Les logiciels anti-plagiat, un combat perdu ?
Une première réponse pourrait consister à utiliser les logiciels anti-plagia (Compilatio, ZéroGPT…) pour distinguer des textes écrits par les humains, de ceux générés par une intelligence artificielle. Toutefois ces derniers cherchent des similitudes avec des textes sur internet ou des copies entrées sur une base de données. Or ChatGPT produit un texte qui n'est pas un copié-collé. Il fonctionne grâce à la prédiction : il évalue quel est le texte le plus probable dans un contexte puis il le génère. Il est donc difficile d'identifier ses sources. Pour Xavier Aimé, « ces logiciels ne sont pas capables de détecter du plagiat par l'IA. Les systèmes ne fonctionnent pas. On pourrait éventuellement repérer quelqu'un qui sait mal s'en servir, mais si l'étudiant est un peu « malin », il peut modifier le style d'écriture et le rendre indétectable. Les éditeurs des IA eux-mêmes ont abandonné l'idée de la détection ! La lutte anti-plagiat est perdue d'avance ». Toute tentative d'interdiction semble donc veine.

Diversifier les modes d'évaluation
La première réponse à apporter est sans doute, lorsqu'un élève réalise un travail seul derrière son ordinateur (en présentiel ou à distance), de ne pas tout miser sur un écrit pour évaluer sa production. « Le premier conseil qu'on peut donner, explique Xavier, est d'éviter de se fier uniquement à des évaluations par texte ou par réponse écrite. Il est préférable d'intégrer des évaluations variées, telles que des quiz à choix multiples, des évaluations pratiques, des projets en groupe, des présentations orales, etc. Il faut donc encourager la participation active, précise Xavier, et favoriser les évaluations qui exigent une réflexion critique, une application des connaissances et la démonstration de compétences pratiques, plutôt que de simples réponses mémorisées ».

Renforcer le poids des présentations orales
Concernant les mémoires, Xavier plaide pour un renforcement du poids de la soutenance orale dans la note finale : « Dans mes cours, l'oral compte désormais pour 75% de la note. A l'oral, l'étudiant n'a pas le temps de tricher : on voit tout de suite s'il a compris, s'il maîtrise ou pas. Ce n'est plus la machine qui parle, c'est lui ». L'illusion éventuelle de l'écrit résiste mal au jeu des questions. Evidemment, elles doivent porter sur les contenus présentés, mais aussi exiger une analyse réflexive sur les résultats produits. L'oral peut également être l'occasion de demander à l'apprenant comment il a mobilisé ChatGPT. « Il ne faut pas lui demander frontalement, conseille Xavier, il risque de démentir et on va rester avec des doutes. Mieux vaut lui demander « comment il l'a utilisé ? C'est là que se trouve finalement sa contribution ».

Citer l'usage de ChatGPT, oui mais comment ?
L'objectif principal de l'évaluation d'un mémoire est de déterminer la compréhension, la recherche et la capacité de réflexion critique de l'étudiant. Et concernant l'écrit, que faire ? Nous avons demandé à ChatGPT lui-même ce qu'il en pensait. Et voici sa réponse : « il est important que les évaluateurs comprennent comment ChatGPT a été utilisé dans le mémoire. Les évaluateurs doivent s'assurer que l'étudiant a apporté une contribution significative au mémoire, même si ChatGPT a été utilisé pour générer une partie du texte. L'étudiant devrait expliquer comment ChatGPT a été utilisé dans le mémoire dans la section appropriée, comme la méthodologie ou les remerciements. Cela pourrait inclure des informations sur les parties spécifiques rédigées par le modèle, la manière dont il a été intégré dans le processus d'écriture, et l'objectif de son utilisation. Cette explication devrait inclure des détails sur les parties spécifiques générées par ChatGPT et la raison de son utilisation »1.
Bref, ChatGPT serait une source comme une autre, à intégrer dans sa méthodologie et ses références bibliographiques ?
Il n'existe pas encore de règles bien établies sur la manière de citer des paragraphes réalisés par ChatGPT. Xavier partage son expérience : « Voici la consigne que je donne : dès lors que l'apprenant a utilisé ChatGPT pour tout ou partie d'un texte, il doit mettre entre guillemet la zone de début et de fin, et mettre en note de bas de page le logiciel d'IA utilisé, la date et le prompt qui a servi à produire ce texte. Car au final, c'est dans ces prompts, qu'on voit sa logique de compréhension, sa progression intellectuelle, c'est là qu'il fait « œuvre de l'esprit », pour reprendre une expression américaine ». Les organismes de formation vont sûrement formaliser des règles et des consignes d'usage dans les mois qui viennent.

Privilégier l'obligation de moyens à celle des résultats
Dans les formations en alternance, l'objectif d'apprentissage peut parfois entrer en tension avec celui des entreprises, davantage orientée vers la culture du résultat. Selon Xavier, “ChatGPT tend à renforcer cette tension, car il permet d'arriver plus vite au résultat. L'apprenant lui-même peut être tenté d'aller vers cette solution de facilité. Tout le travail du formateur et du tuteur est donc de lui expliquer l'importance d'apprendre des compétences transférables dans n'importe quel contexte plutôt que de seulement produire des résultats à court terme”. Bref, il faut privilégier une obligation de moyen à celle du résultat…

Eduquer plutôt que sanctionner
Comme l'indiquait Philippe Mérieux dans une récente tribune : « Le danger de ChatGPT n'est pas dans la fraude qu'il permet mais dans le rapport aux connaissances qu'il promeut »2. Il convient de responsabiliser les apprenants sur les conséquences de l'usage des IA. Xavier partage ce point de vue, “la solution ne passe pas par des réponses techniques mais par l'éducation des apprenants. Je cherche à les responsabiliser à l'importance de ne pas tricher bien sûr mais surtout à l'importance de réfléchir, de produire par eux-mêmes leur travail. Je les invite à aller rechercher les documents à la source pour citer les auteurs, à comprendre et questionner ce qu'ils produisent, à analyser de manière critique ce qui leur est proposé par les IA, voire à réfléchir aux limites de ce qu'elle a produit, y compris d'un point de vue éthique”. Apprendre à garder le désir d'apprendre !

Références
1- Le prompt était : “comment évaluer une formation à l'ère de ChatGPT ?”
2- Philippe MEIRIEU, pédagogue : « Le danger de ChatGPT n'est pas dans la fraude qu'il permet mais dans le rapport aux connaissances qu'il promeut », Le Monde, 27 mars 2023.

The post ChatGPT, un atout ou une tricherie ? first appeared on Le Cnam - Living Lab Sofa.

Un article repris du Living lab Sofa du Cnam, un laboratoire des usages socio-éducatifs du numérique ; une publication sous licence CC by nc nd

Cliquez ci-dessous pour écouter la version audio de cet article

Vous préférez écouter plutôt que lire ? Vous n'aimez pas votre voix ? Vous ne savez pas comment prononcer un mot dans une autre langue ?
C'est à partir de ces constats que Mooneen Raferty, enseignante en anglais au Cnam des Pays de la Loire, a décidé d'utiliser l'outil TTSMaker dans ses formations. Elle nous en parle.

Living Lab Sofa : qu'est-ce que TTS Maker ?
Mooneen : C'est un logiciel de synthèse vocale en ligne, 100% gratuit, qui lit instantanément n'importe quel texte et qui le convertit en parole. Il n'est pas nécessaire de se créer un compte ni de télécharger ou d'installer le logiciel. Il suffit de coller votre texte dans la fenêtre de l'application sur la page d'accueil. Vous pouvez ensuite ajuster le débit de la voix qui sera générée, le temps de pause entre chaque paragraphe lu, le volume sonore. Et vous pouvez même choisir si c'est un homme ou une femme qui s'exprime et son style de voix ! Bref, cela offre beaucoup de possibilités.

Living lab Sofa : pourquoi avoir utilisé TTS Maker ?
Mooneen : Je cherchais un outil pour faire progresser les élèves en anglais. Ils rencontrent parfois des difficultés pour la prononciation des mots, ils ont parfois du mal à avoir les bonnes intonations. TTSMaker respecte bien l'accent tonique en anglais, il constitue donc un bon outil d'apprentissage pour les élèves.

Living lab Sofa : comment l'avez-vous utilisé ?
Mooneen : je l'ai utilisé de deux manières. J'ai d'abord copié une liste de mots sur lesquels les élèves accrochaient pendant les cours, ou qu'ils ne savaient pas prononcer, et je les ai convertis en fichier audio grâce à TTSMaker. Ainsi, les apprenants pouvaient revenir sur ces mots et répéter les sons ou l'intonation chez eux. J'ai aussi réalisé un petit exercice avec un texte à trous sur l'usage des verbes « être » et « avoir ». Une fois l'exercice complété, l'élève peut écouter les réponses, au lieu de simplement les lire. Cela permet de travailler l'écrit et l'oral.

Et voici la version audio de l'exercice ci-dessus si vous voulez vous entrainer !

Living lab Sofa : d'autres idées d'usages ?
Mooneen : oui, je me disais qu'on pouvait aussi l'utiliser pour faire la synthèse vocale d'articles intéressants et ensuite les écouter par exemple, tout en travaillant. Cela permet d'alterner un peu avec la musique ou la radio que nous avons l'habitude d'écouter en faisant du sport ou même en voiture ! C'est un des points forts de cet outil en ligne. Non seulement il permet de faire lire par une voix off n'importe quel texte écrit mais vous pouvez aussi télécharger la synthèse vocale du texte et le conserver.

Living lab Sofa : qu'en pensent les apprenants ?
Mooneen : j'ai montré l'outil à plusieurs élèves, surtout pour la prononciation, et ils sont impressionnés ! Il peut servir à donner une plus grande autonomie aux élèves ayant des besoins éducatifs particuliers, en leur permettant de travailler de manière indépendante et d'adapter leur rythme de travail. Un accélérateur d'apprentissage en quelque sorte…

The post Donner de la voix à un texte first appeared on Le Cnam - Living Lab Sofa.