Scroll

Tour d’horizon des différents algorithmes et techniques d’évaluation apprenant utilisés

Ikram Gagaoua |

L’évaluation d’un apprentissage permet d’avoir un aperçu du niveau de maîtrise ou de connaissance sur une compétence donnée, c’est une étape essentielle en formation qui donne un retour à la fois à l’apprenant, mais également au formateur sur l’avancement de l’apprentissage et l’acquisition des compétences. Elle permet également une remédiation plus précise vis-à-vis des points faibles ou des lacunes de l’apprenant et donc plus bénéfique. Grâce à l’évolution de l’apprentissage en ligne, de nombreuses techniques et algorithmes d’évaluation sont apparus, ces derniers sont de plus en plus précis et fournissent des données fiables et valides. Nous présenterons dans cet article ces nouvelles manières d’évaluer le niveau de maîtrise d’un apprenant pour des compétences-cibles en utilisant la puissance des algorithmes d’intelligence artificielle, et ceci afin d’être capables d’industrialiser la démarche à l’échelle de groupes, d’organisations ou d’écoles.

Le positionnement, un état des lieux des connaissances

Le positionnement est le point d’entrée dans le parcours d’apprentissage, il est effectué généralement en début d’année scolaire ou académique ou encore pour juger le besoin d’accès à une formation dans le milieu de professionnel. L’intérêt du positionnement est de guider au mieux l’apprenant sur un parcours orienté vers un objectif bien défini, il permet aussi de cerner les lacunes de l’apprenant afin de lui offrir une expérience d’apprentissage personnalisée où il n’aura pas besoin de revoir des notions déjà acquises et ancrées. Il existe de nombreuses façons de positionner un apprenant parmi elles, l’auto-positionnement et le CAT que nous allons détailler ci-dessous.

L’auto-positionnement

L’auto-positionnement est un concept d’évaluation où les apprenants essaient de déterminer par eux-mêmes leurs lacunes et leurs compétences acquises sur un sujet donné. Cette mise à plat leur permet de prendre du recul sur leurs apprentissages et favorise la responsabilité et l’indépendance, facteurs d’engagement dans la démarche de formation. Il est cependant important de noter que l’auto-positionnement devrait être effectué conjointement avec un autre type de positionnement pour éviter tout biais pouvant nuire à l’évaluation comme le syndrome de l’imposteur, dans ce cas l’apprenant aura tendance à sous-estimer ses compétences, ou au contraire selon l’effet Dunning-Kruger1 il aura tendance à les surestimer, ce qui aura pour effet de fausser les résultats.

Le CAT, test adaptatif informatisé

Le Computerized Adaptive Testing (CAT) ou test adaptatif informatisé est une forme d’évaluation qui s’adapte à l’individu. C’est un test administré par ordinateur dans lequel la prochaine question ou ensemble de questions sélectionnées et proposées à l’apprenant dépend de l’exactitude de ses réponses aux questions précédentes. C’est un processus itératif avec plusieurs étapes et qui commence par une estimation initiale de la maîtrise pour trouver la question la plus adaptée en prenant en compte le niveau de capacité estimé à ce moment-là. L’apprenant répond à la question posée et à partir de sa réponse une nouvelle estimation de la maîtrise est calculée. Les étapes se suivent jusqu’à arriver à un seuil de certitude de l’estimation.

Le CAT permet de dépasser les limitations de l’évaluation linéaire dite classique qui, elle, aboutit à un score global sous forme de ratio de bonnes réponses. Ce score ne prend pas en compte de nombreux facteurs tels que la difficulté de la question ou sa réelle maîtrise du sujet. Un test uniformisé de la sorte ne permet donc pas de cerner la véritable maîtrise de l’apprenant. Le CAT présente plusieurs avantages par rapport à la méthode traditionnelle d’évaluation linéaire :  les apprenants ayant une maîtrise élevée ne sont pas tenus de répondre à tous les éléments faciles d’un test, ils ne répondent qu’aux éléments qui donnent réellement des informations sur leurs compétences. Inversement pour les apprenants ayant un plus faible niveau que l’on ne soumet qu’à des questions faciles, adaptées à leur maîtrise. Le CAT permet donc une  mesure plus précise de la capacité des apprenants sans leur faire perdre de temps.

Pour mieux illustrer cela, prenons en exemple une évaluation non-adaptative dans laquelle le même ensemble de vingt questions est administré à deux apprenants différents, le premier répond correctement à quatorze questions, parmi ses réponses correctes huit sont faciles, quatre de difficulté moyennes et deux difficiles. Le second apprenant répond également correctement à quatorze questions cependant parmi ses réponses correctes quatre sont faciles, six moyennes et quatre difficiles. Ces deux individus ont eu le même score final, mais pensez-vous que ce test était une vraie mesure de leur capacité ? Avec une évaluation en CAT, la difficulté de la question est prise en compte dans la détermination du score final, les deux individus bien qu’ayant répondu correctement au même nombre de questions n’auront pas forcément le même score.

Évaluation des acquis en cours d’apprentissage

L’IRT

L’IRT (Item Response Theory) est une approche de conception et de notation d’une évaluation, qui permet à partir des réponses correctes ou incorrectes des apprenants aux questions d’un test, de modéliser certains paramètres comme la difficulté d’une question, la capacité de l’apprenant, la discrimination de la question, le facteur de chance, etc. L’IRT part du principe que la réponse d’un individu à une question peut nous renseigner sur leurs capacités sous-jacentes et nous fournir d’autres informations pertinentes.

Une évaluation classique permet d’avoir un taux de réponses correctes et incorrectes, ces résultats nous donne uniquement un aperçu des performances de l’apprenant sur cet ensemble de questions. Il est alors impossible d’évaluer une quelconque amélioration en comparant deux évaluations distinctes d’un même individu.

Grâce à l’IRT, nous pouvons concevoir des évaluations similaires avec lesquelles il serait possible de comparer les performances d’un apprenant pour en déduire s’il s’améliore au fil de son apprentissage ou si au contraire, il présente des difficultés d’assimilation. Le formateur pourra donc suivre personnellement chaque apprenant en suivant sa courbe d’amélioration.  Un avantage important de cette approche réside également dans sa capacité à fournir non seulement une estimation du niveau de compétence, mais aussi l’incertitude de l’algorithme sur cette estimation. Cette information peut être exploitée pour comprendre combien de questions doivent être posées avant d’obtenir une estimation dont l’incertitude est inférieure à un seuil souhaité. Cela aura un impact sur la conception de l’évaluation qui sera plus courte et plus pertinente. En plus de son utilisation dans l’évaluation de l’apprenant, l’IRT peut également être utilisé pour évaluer les contenus en particulier, mais également le parcours d’apprentissage dans sa globalité, et cela, en mesurant le niveau de compétence des individus avant et après avoir interagi avec le contenu. Il est possible de voir l’impact de chaque contenu pour distinguer ceux qui doivent être améliorés de ceux qui, en revanche, sont déjà efficaces.

Le BKT

Le BKT (Bayesian Knowledge Tracing) est un algorithme qui modélise l’apprentissage d’un individu comme une chaîne de Markov2. Il part du principe que l’apprentissage d’un individu n’est pas figé, quand il interagit avec une plate-forme d’apprentissage, ses compétences dans un concept donné s’améliorent au fil de ses interactions. Ainsi, le BKT permet la modélisation de la manière dont l’individu s’imprègne ou apprend un nouveau concept. 

Au départ, nous ne savons pas si l’apprenant maîtrise le concept, il est  dans un état initial. On lui présente alors une question et certaines probabilités sont calculées, telles que la probabilité d’apprentissage, qui le ferait passer d’un état d’ignorance vers un état de connaissance. Mais également, la probabilité de deviner la réponse alors que l’apprenant ne connaît pas le concept, la probabilité d’erreur alors qu’il maîtrise bien le concept et enfin la probabilité d’oubli qui elle, à l’inverse de la probabilité d’apprentissage, fait passer l’apprenant de la connaissance à l’ignorance. L’enchaînement des questions se poursuit et les probabilités d’apprentissage et autres se renforcent pour nous permettre d’avoir une vision sur l’évolution de l’apprentissage de l’individu. Ce modèle est largement utilisé pour évaluer l’efficacité des plateformes d’apprentissage en ligne.

Le système de classement ELO

Le système de classement ELO a été mis en place en 1978 par Arpad Elo. Il a été développé initialement pour classer les joueurs d’échec. Il est utilisé aujourd’hui plus globalement pour classer les joueurs sur la plupart des jeux ou sports où au moins deux joueurs s’affrontent. Plus récemment, ce système de classement est désormais utilisé dans les systèmes d’apprentissage non pour classer les apprenants entre eux mais pour analyser l’interaction entre l’apprenant et le contenu. Selon la réussite ou l’échec de l’apprenant face au contenu, la maîtrise de l’apprenant et la difficulté du contenu de formation sont estimées dynamiquement : plus il y a de données d’interactions, plus la maîtrise des différents apprenants et les niveaux des difficultés des contenus sont évalués de façon précise. À la suite de chaque interaction, la maîtrise de l’apprenant et le niveau de difficulté du contenu sont mise à jour. Il est donc possible de suivre la progression de l’apprenant au fil du temps. 

Enfin, l’évaluation des connaissances est une étape clé dans le processus d’apprentissage et cela est d’autant plus vrai pour les systèmes d’apprentissage intelligents. Elle permet de récolter de nombreuses données sur l’apprenant et les contenus. Ces données peuvent notamment être utilisées afin d’alimenter les algorithmes liés à la personnalisation de la formation comme les systèmes de recommandations.


Source1 : L’effet Dunning – Kruger est un biais cognitif dans lequel les personnes étant faibles dans une compétence surestiment leur capacité. Elle est liée au biais cognitif de supériorité illusoire et provient de l’incapacité des personnes à reconnaître leur manque de compétences.

Source2 : Une chaîne de Markov est un système mathématique qui subit des transitions d’un état à un autre selon certaines règles de probabilités.