Quatre méthodes pour rechercher des exemples de dissertations en anglais

Rechercher des modèles de rédaction argumentative en anglais avec l’IA : comparaison de quatre modèles

Guo Shiyi, Zhu Tianning, Bie Zini, Hu Jiawen  

Université d’Uppsala (Suède)  

Résumé:Cet exemple s’appuie sur des données de rédactions en anglais, et un système de recherche de rédactions en anglais basé sur l’intelligence artificielle et le traitement du langage naturel a été développé. Ce système intègre quatre modèles populaires : BM25, Word2Vec, Sentence-BERT et Elasticsearch, et une interface UI simple est mise en place pour afficher les fonctionnalités du système. Les expériences ont comparé les performances des différents modèles en termes de corrélation avec les rédactions et de capacité de tri. Les résultats montrent que les quatre modèles sont capables de réaliser la tâche de recherche de rédactions en anglais, mais le modèle Sentence-BERT basé sur Transformer se distingue par la précision dans l’identification et la recherche de similarité sémantique. Les modèles traditionnels tels que BM25 et Elasticsearch possèdent également une valeur pratique dans des contextes où les ressources sont limitées ou où l’accent est mis sur la recherche de mots-clés. Le système peut choisir flexibly le modèle en fonction des besoins pédagogiques et des ressources du platform. Cet exemple fournit une référence pour le développement et l’utilisation d’outils de recherche en anglais intelligent.

Mots-clés:Intelligence artificielle ; modèles de recherche d’informations ; enseignement de la rédaction en anglais

Dans le processus d’enseignement et d’apprentissage de la rédaction en anglais, les exemples de textes sont des ressources très importantes. Les méthodes traditionnelles de recherche de mots-clés et de sélection manuelle présentent des limites significatives en termes de pertinence et d’efficacité, et sont difficiles à satisfaire les besoins d’enseignement à grande échelle et personnalisé. Actuellement, l’utilisation de la recherche de mots-clés traditionnelle ou de la sélection manuelle pour choisir des exemples de textes présente des problèmes inévitables : d’une part, la recherche de mots-clés ne prend pas en compte pleinement certains détails importants que les étudiants se concentrent dans un environnement réel ; d’autre part, la vitesse de sélection manuelle est lente, et lorsqu’il s’agit de dizaines ou même centaines de textes, cela devient très complexe et inefficace. Avec le développement de l’IA et du NLP, l’utilisation de modèles de recherche d’informations basés sur l’apprentissage profond et la compréhension sémantique permet d’améliorer considérablement la précision et l’intelligence des exemples de textes. Comment utiliser ces nouvelles technologies pour proposer des exemples de textes pertinents, de haute précision et intelligent devient donc un sujet d’étude essentiel. Dans cet exemple, environ 2000 textes de rédaction en anglais pour l’IEL sont collectés et organisés, dans le but de développer un système de recommandation d’exemples de textes permettant « de réaliser une recommandation d’exemples de textes efficace, intelligente et pertinente ». Sur cette base, un système de recommandation d’exemples de textes intégrant plusieurs modèles de recherche principaux a été conçu. Le système comprend quatre modèles de recherche principaux : BM25, Word2Vec, Sentence-BERT et Elasticsearch, et des comparaisons expérimentales sont utilisées pour analyser leurs différences en termes de précision et de capacité de tri. Pour chaque type de modèle, les avantages et inconvénients spécifiques dans l’enseignement de la rédaction en anglais sont étudiés. Les résultats expérimentaux montrent que le modèle Sentence-BERT basé sur Transformer est nettement supérieur aux autres modèles en termes de similarité sémantique et de précision de recherche, et présente une excellente adaptabilité en matière de compréhension sémantique et de recommandation personnalisée. BM25 et Elasticsearch sont plus traditionnels, mais offrent des avantages en matière de matching de mots-clés et de vitesse de recherche, ce qui les rend adaptés à des applications comme les recherches à grande échelle ou avec des ressources limitées. Le modèle Word2Vec montre des limites en conditions de taille de corpus réduite, mais en tant que solution intermédiaire combinant efficacité et capacité de sémantique de base, il reste utile. En général, les quatre modèles peuvent tous répondre aux tâches de recherche de modèles de rédaction en anglais selon différentes conditions de ressources et de besoins, et leur choix peut être fait en tenant compte des caractéristiques et des conditions spécifiques de chaque modèle en fonction des besoins réels.  

I. Les besoins réels de recherche de modèles de rédaction en anglais et l’innovation systémique  

(1) Problèmes réels et besoins liés à la recherche de modèles dans l’enseignement de la rédaction en anglais  

Dans l’enseignement de l’écriture en anglais, l’utilisation de modèles de textes de haute qualité contribue à améliorer les compétences d’écriture des étudiants, en particulier pour les essais académiques et les écrits de type tâche. Cependant, comme la plupart des enseignants et étudiants utilisent actuellement la recherche par mots-clés ou le tri manuel pour trouver des modèles, cette méthode est très inefficace. De plus, les résultats obtenus ne sont pas très précis, et ne peuvent pas répondre aux besoins croissants en quantité d’enseignement ainsi qu’aux exigences personnelles des étudiants. D’un côté, les méthodes de recherche traditionnelles sont limitées par une mauvaise correspondance entre les informations lexicales, ce qui empêche de comprendre correctement les relations sémantiques, rendant difficile pour les étudiants d’obtenir des modèles de haute qualité. D’autre part, avec l’augmentation des types de sujets dans l’enseignement de l’écriture, il est urgent d’automatiser et d’intégrer la recommandation de modèles de haute pertinence. Avec le développement de l’intelligence artificielle et du traitement du langage naturel ces dernières années, cela a ouvert de nouvelles possibilités pour la recherche de modèles en anglais. Les modèles de recherche d’informations basés sur une compréhension sémantique profonde permettent de recommander des modèles personnalisés et précis, ce qui favorise le développement de qualité de l’enseignement de l’écriture en anglais.  

(2) Intégration innovante des technologies de recherche d’informations et de l’enseignement du langage  

Avec le développement profond des technologies de l’IA, les modèles de recherche d’informations connaissent une nouvelle opportunité de fusion dans le domaine de l’enseignement du langage. Dans les méthodes traditionnelles d’enseignement de l’écriture en anglais, la recherche de modèles de référence se fait principalement en se basant sur des mots-clés ou par manière manuelle, ce qui entraîne une efficacité faible et une compréhension sémantique insuffisante. Ces problèmes peuvent être améliorés ou résolus grâce aux technologies de recherche d’informations. BM25, en tant que modèle classique de recherche d’informations par probabilité de mots-clés, montre une bonne efficacité et stabilité dans la recherche sur de grandes ressources pédagogiques, grâce à la normalisation des fréquences de mots et de la longueur des documents. Avec le développement vers une approche sémantique, les modèles de vecteurs de mots comme Word2Vec, FastText et Glove transforment les mots en vecteurs et permettent de détecter les relations sémantiques dans le contexte, ce qui permet aux systèmes d’enseignement de substituer des synonymes et de faire des mises en relation sémantiques. Actuellement, les chercheurs utilisent Sentence-BERT basé sur la structure Transformer pour comprendre en profondeur la sémantique des phrases, et en générant des vecteurs sémantiques de haute qualité, ils peuvent correspondre et classer de manière efficace la structure, la logique et les arguments de modèles de référence, améliorant ainsi la pertinence de la recherche et la qualité des recommandations pédagogiques. Dans le domaine de l’éducation et de la technologie, de nombreuses études ont exploré le potentiel de l’intelligence artificielle et des technologies de recherche d’informations dans l’enseignement de l’écriture, et ont souligné que les fonctionnalités de recherche de textes et de recommandation de modèles de référence offertes par les outils d’aide à l’écriture par l’IA peuvent fournir des résultats de feedback adaptés aux apprenants de langue seconde, favorisant ainsi la capacité de ces apprenants à organiser leur langue et à construire leur contenu. Des données expérimentales massives sur les modèles de langage prouvent que Yang, Zhang et Lin (2019) ont conclu que l’utilisation du modèle de recherche sémantique BERT est plus efficace que la méthode traditionnelle de matching de mots-clés pour la classement de documents improvisés, et que la recherche de textes orientée sémantique dans les contextes de technologie éducative est réalisable. Alves Pereira, Komarlu et Mobeirek (2023) ont analysé comparative les usages des différents outils de rédaction IA du point de vue de la recherche d’informations, et ont constaté que l’amélioration de la qualité de recherche des utilisateurs ne fait pas seulement augmenter leur participation à la rédaction, mais aussi renforcer considérablement la diversité des points de vue contenus dans leurs textes. Ces études montrent que la recherche de matériel pédagogique assisté par IA est passée progressivement d’une correspondance de mots-clés et sélection manuelle à des techniques de compréhension sémantique profonde. En même temps, l’application de la technologie de recherche d’informations à l’enseignement du langage correspond également aux tendances du développement de l’apprentissage du langage assisté par ordinateur (CALL). Elle peut être considérée comme une forme de « apprentissage orienté vers les données » (Data-Driven Learning, DDL). Cette approche pédagogique a été proposée par Johns (1991), qui insiste sur l’idée de permettre aux étudiants de découvrir activement les règles du langage à travers la recherche dans des corpus, afin de maîtriser plus efficacement les connaissances linguistiques. De plus, ce modèle est en accord avec la direction du développement de l’apprentissage du langage assisté par ordinateur intelligent (ICALL). Par exemple, Amaral et Meurers (2011) soulignent que les systèmes ICALL, utilisant les technologies de traitement du langage naturel (NLP), peuvent offrir des exercices linguistiques basés sur l’intelligence artificielle, tout en intégrant les données d’apprentissage des étudiants pour fournir des retours personnalisés, améliorant ainsi l’autonomie et l’expérience d’apprentissage globale des apprenants.  

(3) Introduction et présentation du système de recherche  

En réponse aux problèmes mentionnés ci-dessus dans l’enseignement de l’écriture en anglais, tels que une efficacité faible dans la recherche de modèles de référence et une faible pertinence, en s’appuyant sur les recherches précédentes, cet exemple utilise le corpus de rédaction IELTS, et emploie quatre modèles de recherche : BM25, Word2Vec, Sentence-BERT et Elasticsearch. Il couvre une échelle technique allant de la recherche basée sur les fréquences de mots, à la calculation de la signification basée sur les vecteurs de mots, jusqu’à la compréhension profonde de la signification, de manière progressive. Un système de recherche intelligent intégrant plusieurs modèles de recherche a été conçu et développé, permettant une intégration et une modularité des différents modèles. En même temps, il est possible de choisir librement différents modèles de recherche sur la même interface, de comparer visuellement les résultats recommandés par chaque algorithme, et de comparer systématiquement les différents modèles, afin de déterminer les applications pédagogiques appropriées. De plus, afin d’améliorer davantage l’expérience d’interaction utilisateur, nous avons utilisé PySide6 pour créer une interface graphique légère. Une fois le programme lancé, il appelle différents opérateurs de modèles en fonction des entrées de l’utilisateur actuel, afin de calculer respectivement la similarité, et finalement obtenir les résultats classés. La page offre une fonction de prévisualisation de l’intégralité du texte, ce qui facilite l’utilisation en enseignement et en recherche, et constitue également une base de modèle open source pour les différents outils auxiliaires ultérieurs.  

II. Modèles de recherche dominants dans la recherche de textes de référence : plan d’expérience comparative et méthodes d’évaluation  

(1) Questions de recherche  

Cette étude vise principalement à vérifier la pertinence et la valeur de l’application des méthodes de recherche d’informations à la recherche de modèles de rédaction en anglais, et à explorer les effets de différentes méthodes de recherche d’informations telles que BM25, Word2Vec, Sentence-BERT et Elasticsearch dans la recherche de modèles. Ensuite, par des expériences, on compare ces méthodes de recherche traditionnelles avec les modèles de réseaux de neurones et les moteurs de recherche commerciaux établis. Enfin, on analyse les avantages et les inconvénients de ces méthodes dans le domaine de l’éducation, et on propose des recommandations pour l’utilisation de différents types de modèles dans l’enseignement pratique de la rédaction en anglais.  

(2) Description du jeu de données  

Le ensemble de données « IELTS-writing-task-2-evaluation » utilisé par cet institut provient de la plateforme ouverte HuggingFace. Il contient plus de 9 000 articles de rédaction sur le sujet Task 2 de l’IELTS, rédigés par des candidats réels, et chaque article est accompagné d’une évaluation humaine correspondante ainsi que d’un prompt. Les sujets abordés dans cet article incluent l’éducation, la technologie et l’environnement. Comme l’objectif de cette étude est de examiner la pertinence des différents modèles de recherche d’informations dans la tâche de recherche de modèles de rédactions en anglais, plutôt que de juger ou évaluer subjectivement le niveau de rédaction en anglais, les prompts et les articles de ce ensemble de données ont été choisis pour la construction de modèles de mots à analyser et pour une analyse comparative ultérieure, sans utiliser les critères d’évaluation.  

(3) Introduction du modèle et méthode de calcul de la similarité  

Les quatre modèles de recherche d’informations utilisés dans cet article sont : le modèle traditionnel BM25 basé sur les fréquences de mots, le modèle de vecteurs de mots Word2Vec, qui est largement utilisé ces dernières années, le modèle de réseau de neurones Transformer Sentence-BERT, qui permet une exploration profonde du sens des phrases, ainsi que Elasticsearch de niveau industriel, très utilisé actuellement.  

BM25 (Best Matching 25) est un modèle de recherche de correspondance de termes classique, initialement proposé par Robertson et Walker. Sa version simplifiée est largement utilisée dans divers systèmes de recherche d’informations, tels que Elasticsearch et Lucene. BM25 utilise une fonction de fréquence de mot non linéaire ainsi que la normalisation de la longueur des documents pour compenser l’impact des scores de corrélation causés par des mots-clés trop fréquents ou des documents trop longs. Cependant, il reste une méthode de matching superficielle basée sur la coïncidence des termes, ne permettant pas d’obtenir plus d’informations au niveau sémantique ou contextuel. Dans cet expérience, nous utilisons le modèle BM25 Okapi du bibliothèque rank_bm25 pour mettre en œuvre BM25 et appeler sa fonction de score. Comme mentionné précédemment, BM25 prend en compte la fréquence de mot, la longueur du document et la distribution des termes dans le corpus, afin d’évaluer le degré de corrélation entre la requête et le document.  

Word2Vec est un modèle d’embedding de mots publié par Google en 2013. Ce modèle s’inspire de l’idée de J.R. Firth selon laquelle « le sens d’un mot dépend de son contexte ». Il mappe les mots dans un espace de vecteurs de mots, et les mots ayant un sens proche se trouvent à une distance plus proche dans cet espace de vecteurs. Cette méthode est ensuite utilisée pour calculer les relations sémantiques entre les mots. Dans cette étude, la bibliothèque Gensim est utilisée pour la mise en œuvre, et la répartition et la recherche des articles sont effectuées selon la similarité cossinienne, de manière décroissante. Bien que Word2Vec puisse capturer les relations sémantiques de surface, comme Word2Vec se base uniquement sur les vecteurs de mots du contexte local, il ne peut pas refléter les mots polysémiques ou les significations profondes des mots. D’abord, nous utilisons Numpy pour obtenir la moyenne des vecteurs de mots de la requête et de chaque texte, et les utilisons comme vecteurs de texte. Ensuite, nous les classons dans l’ordre décroissant selon la similarité cossinienne, afin d’obtenir une recherche basée sur le sens.  

Sentence-BERT (SBERT) est une version améliorée du modèle classique BERT. En intégrant les architectures de réseaux Siamese et Triplet, il est capable de générer efficacement une représentation sémantique au niveau de la phrase et de calculer la similarité entre les phrases. SBERT prend en charge plusieurs stratégies de pooling, telles que le token CLS, le pooling moyen et le pooling maximal. Dans cette étude, nous avons utilisé le modèle pré-entraîné paraphrase-MiniLM-L6-v2 fourni par HuggingFace, et nous avons utilisé la bibliothèque sentence-transformers pour extraire les vecteurs de phrases. Le modèle produit des vecteurs de phrases de dimension 384, ce qui permet leur utilisation directe dans les tâches de recherche sémantique sans nécessiter de ajustement supplémentaire. En ce qui concerne le système de notation, similaire à Word2Vec, SBERT utilise la similarité cossinienne pour mesurer la similarité sémantique entre des phrases ou des textes ; une note plus élevée signifie une plus forte corrélation sémantique.  

Elasticsearch est un moteur de recherche et d’analyse distribué, simple et flexible, développé sur la base de Apache Lucene. Il permet de configurer facilement des clusters à plusieurs nœuds et répond rapidement à divers types de requêtes. Dans cet article, l’Elasticsearch v8.7 est utilisé pour la conception et le développement, et une architecture mixte combinant les index inversés et les documents JSON est adoptée. La gestion automatique des nœuds et de leur configuration assure pleinement la précision des données. De plus, dans la structure d’index, le texte original, les segments du texte, les mots-clés produits et le texte original sont stockés ensemble, et l’utilisation du champ copy_to est augmentée pour améliorer la pertinence de la recherche. Les paramètres BM25 (k_1=1.5, b=0.8) sont appliqués, adaptés aux différentes longueurs des articles. Enfin, dans cet article, le système de notation de pertinence des documents d’Elasticsearch est considéré comme un modèle modifié de BM25, qui utilise l’algorithme BM25 pour évaluer et classer la pertinence, et se base uniquement sur les paramètres officiels en termes de méthode de calcul idf et d’autres détails techniques.  

(4) Méthodes et indicateurs d’évaluation expérimentale  

Dans les systèmes de recherche d’informations, le terme K est souvent utilisé pour indiquer le nombre de résultats de recherche (Top-K) que le système renvoie à l’utilisateur après chaque recherche. Cette configuration détermine la portée de lecture de l’utilisateur et constitue un paramètre important pour les indicateurs de performance de divers systèmes de recherche (Precision@K, Recall@K, NDCG@K, etc.). Afin de refléter plus précisément les performances réelles du système de recherche, cette étude introduit deux méthodes d’évaluation : le K statique et le K dynamique. Le K statique est défini comme une valeur fixe (par exemple K=10 ou K=20), permettant de simuler une situation où les étudiants ou les enseignants ne lisent que les deux premières pages des résultats de recherche. Cette configuration aide à examiner si le modèle peut capturer davantage de documents à haute corrélation lors d’une exposition limitée, et cette valeur reflète directement les habitudes de lecture des utilisateurs réels. D’après les expériences utilisateur, la majorité des utilisateurs ne lisent que les 10e à 20e résultats lors de la recherche ; dans ce cas, il est le plus raisonnable d’évaluer le modèle de recherche Top-K. Quant au K dynamique, on utilise une méthode basée sur l’évolution naturelle du nombre de documents pertinents pour chaque tâche de recherche, en choisissant K comme 0,8, 1,0, 1,2, 1,4 ou 1,6 fois le nombre de documents pertinents réels (noté K_ratio), ce qui évite les problèmes d’équilibre d’évaluation causés par un K trop grand ou trop petit. Sur cette base, on présente des comparaisons entre différents modèles pour des tâches de recherche de tailles variées ou avec des difficultés différentes, ainsi que des variations dynamiques du taux de réponse et du taux de précision.  

Afin de pouvoir évaluer plus précisément les performances des différents modèles de recherche dans la tâche de recherche de modèles de rédactions en anglais, nous avons choisi un grand nombre d’indicateurs de mesure de la recherche d’informations principaux. La précision (Precision) mesure la proportion de documents pertinents parmi les K premiers résultats de recherche retournés par le système, ce qui reflète l’efficacité avec laquelle les utilisateurs obtiennent des documents de haute qualité ; le taux de rappel (Recall) indique la proportion de documents pertinents qui ont été trouvés avec succès par le système, ce qui reflète la capacité du système à trouver tous les documents pertinents ; la note F1 est la moyenne harmonique entre la précision et le taux de rappel, et permet de mesurer l’équilibre global du système de recherche entre « taux de trouvée totale – taux de trouvée précise ». La précision moyenne (Mean Average Precision, MAP@K) mesure la qualité globale de la sélection du modèle pour toutes les requêtes : pour une requête unique, on calcule d’abord la précision pour chaque document pertinente trouvé, puis on prend la moyenne, et enfin on calcule la moyenne pour toutes les requêtes. Le gain cumulé normalisé (NDCG@K) examine si les documents les plus pertinents sont placés en tête, offrant une expérience utilisateur plus conforme aux attentes des utilisateurs.  

(5) Processus expérimental  

Afin d’évaluer de manière complète la pertinence et l’efficacité des différents modèles de recherche d’informations dans les tâches de recherche de modèles de rédaction en anglais, cette étude a conçu le suivant processus expérimental :  

1. Préparation des données expérimentales : Le jeu de données Task 2 pour les essais de dissertation en anglais IELTS a été téléchargé depuis HuggingFace, et les deux mille premières entrées ont été sélectionnées, suivies d’une nettoyage de texte approprié. Par la suite, nous avons appliqué des étapes de préparation de texte uniformes telles que le nettoyage, le segmentation, l’élimination des mots inutiles et des signes de ponctuation.  

2. Intégration de modèles d’expérience : l’intégration se fait séparément de : le modèle de recherche BM25 du bibliothèque rank-bm25, le modèle de recherche Word2Vec-Cosine basé sur Gensim et sklearn, le modèle pré-entraîné basé sur la bibliothèque sentence-transformers et le modèle de recherche Sentence-BERT calculant la similarité cosinus, ainsi que le modèle de recherche Elasticsearch réalisé à l’aide de l’interface elasticsearch-py et de l’index inverse du backend. Comme les principes de recherche des quatre modèles de recherche diffèrent, afin de permettre une comparaison des performances entre eux, nous avons développé un modèle de recherche aléatoire (RandomIR) supplémentaire, où chaque fois que des fichiers sont renvoyés à ce modèle, c’est une liste aléatoire de K fichiers est retournée, sans tenir compte de toute corrélation entre la requête et les fichiers. Tous les modèles sont écrits en langage Python, et chacun implémente des encapsulations de classes pour des fonctionnalités telles que la recherche multi-modèles, le retour des fichiers résultants selon une logique de tri, permettant un appel instantané et une transition rapide entre différents modes de recherche.  

3. Configuration et préparation des tâches de recherche : la conception expérimentale utilise des sujets de rédaction (prompt) comme entrée pour les exigences de recherche, simulant une scène de recherche utilisateur réelle. Afin de réduire l’effet de biais causé par une seule taille de groundtruth, cinq requêtes différentes (query) correspondent à 200, 112, 63, 22 et 397 articles ayant une étiquette réelle (groundtruth) respectivement. La taille des données est distribuée en échelle de montée, et elles sont divisées de manière aléatoire en deux parties : 80 % de données de entraînement et 20 % de données de test. Enfin, une analyse comparative des performances des tâches de recherche avec deux tailles de groundtruth (grande et petite) permet d’assurer la crédibilité des résultats expérimentaux, permettant ainsi une évaluation du modèle qui reflète mieux l’impact de la taille des données sur les tâches de recherche.  

4. Comparaison de plusieurs modèles et affichage des résultats : Tous les modèles ont été testés sur une plateforme et un ensemble de données unifiés, et les performances de recherche détaillées sous différents critères d’évaluation et valeurs K ont été présentées, avec des graphiques appropriés pour faciliter la comparaison horizontale et l’analyse complète.  

III. Résultats expérimentaux, analyse et discussion  

(1) Résultats et analyse des expériences K dynamiques  

Sous la configuration dynamique de k_ratio=1 (c’est-à-dire lorsque K correspond au nombre de labels réels de chaque requête), les moyennes de MAP (Mean Average Precision) des cinq modèles sur cinq groupes de requêtes présentent des différences significatives. RandomIR, en tant que base de référence aléatoire, a un score de MAP de seulement 0,01, ce qui indique que ses résultats de recherche n’ont presque aucune relation avec l’ordre des documents correspondants. Word2VecIR a une moyenne de MAP de 0,64, ce qui montre une performance nettement inférieure aux autres modèles principaux. BM25IR et Elasticsearch ont tous deux atteint une moyenne de MAP de 0,86, ce qui montre la fiabilité et la robustesse basées sur la correspondance des termes et l’Elasticsearch industriel. Le modèle Sentence-BERT se distingue par une meilleure performance, avec une moyenne de MAP de 0,91, nettement supérieure aux autres méthodes, ce qui indique des avantages significatifs en termes de compréhension sémantique globale et de corrélation d’ordre. En général, les modèles sémantiques profonds (Sentence-BERT) offrent une meilleure capacité d’ordre des documents dans les tâches de recherche de récits de rédaction en anglais, tandis que BM25 et Elasticsearch fournissent une performance de recherche robuste, et Word2Vec montre certaines limites dans des jeux de données petits.  

En dehors de RandomIR, les moyennes de nDCG des autres modèles sont élevées et stables pour différentes valeurs de k_ratio, ce qui indique que les modèles de recherche principaux peuvent toujours placer la plupart des documents pertinents en tête des résultats de recherche, obtenant ainsi un effet de tri avant idéal. En particulier lorsque k_ratio=0,8, les valeurs de nDCG de BM25IR, Elasticsearch et Sentence-BERT sont proches de 1, ce qui montre que la précision du tri et l’expérience utilisateur sont bien assurées. Une analyse plus approfondie montre que le nDCG de Sentence-BERT reste toujours en tête, avec des variations très faibles en fonction de k_ratio, ce qui illustre la robustesse des modèles de sémantique profonde dans la recherche de textes de référence. BM25IR et Elasticsearch restent également au-dessus de 0,95, avec des résultats stables et fiables. Word2VecIR est globalement inférieur aux trois précédents, mais présente une amélioration significative par rapport à la méthode aléatoire (RandomIR, nDCG seulement entre 0,05 et 0,1), ce qui prouve pleinement l’avantage des modèles principaux pour le tri des documents pertinents.  

Les scores F1 des différents modèles de recherche varient légèrement, mais pour tous les modèles lorsque k_ratio est égal à 1, la précision et le taux de récupération sont les meilleurs, et les scores F1 atteignent également leur maximum. On constate que le score F1 du modèle Sentence-BERT est le plus élevé, atteignant presque 0,9, plusieurs fois supérieur aux autres modèles ; par conséquent, ce modèle présente une bonne performance globale dans la recherche de textes de référence. Cependant, avec l’augmentation de k_ratio, la plupart des scores F1 des modèles montrent une tendance de diminution progressive : BM25IR et Elasticsearch passent de 0,86 à environ 0,7, tandis que Word2VecIR reste toujours à un niveau bas, ne dépassant pas 0,7. La recherche aléatoire (RandomIR) reste toujours à un score F1 très faible, servant simplement de ligne de base inférieure. Il est donc évident que un k_ratio approprié (comme k_ratio=1) permet de montrer plus fidèlement les performances du modèle de recherche, sans que le taux de récupération correcte ne diminue en raison d’une amélioration du taux de recherche complète.  

Avec l’augmentation de k_ratio, la précision (Precision) de chaque modèle diminue généralement, tandis que le taux de rappel (Recall) augmente progressivement, reflétant la relation de compromis naturelle entre les deux dans la tâche de recherche. Il est particulièrement intéressant de noter que Sentence-BERT reste en tête à tous les valeurs de k_ratio : à k_ratio=0,8, la précision atteint 0,98, et à k_ratio=1,6, le taux de rappel atteint 0,93. Cette tendance correspond également à la performance des scores F1 précédents, indiquant que ce modèle présente un avantage significatif dans l’équilibre entre la précision et la couverture.  

En plus de comparer les résultats de classement finaux obtenus par chaque modèle, nous présentons également les courbes PR et les valeurs AUC de tous les modèles. La courbe PR permet de montrer, pour différentes taux de rappel, la proportion de documents pertinents obtenus par chaque modèle, c’est-à-dire leurs valeurs à différents seuils de recherche. De plus, nous avons calculé le AUC de chaque modèle, qui représente la capacité globale de recherche du modèle. Plus le AUC est élevé, cela indique que le modèle peut trouver des documents de haute pertinence à un certain stade et maintenir un taux de précision élevé ; et inversement, si à un moment donné il est impossible de trouver des documents de haute pertinence, alors la recherche à ce stade est mauvaise. Le modèle est le meilleur lorsque tous les stades répondent à cette exigence, ce qui montre également que les documents de haute pertinence sont tous trouvés dans une certaine plage et que le taux de précision reste élevé. D’après les résultats, le AUC de Sentence-BERT est le plus élevé, à 0,14, et il montre une excellente performance de recherche sous toutes les conditions de seuils différents, tandis que le AUC de RandomIR n’est que de 0,004, bien inférieur aux autres modèles principaux.  

(2) Résultats et analyse des expériences K statiques  

L’évaluation statique de K utilise K=10 et K=20 pour évaluer les performances de différents modèles dans le processus de recherche de textes simulés par des personnes réelles. En même temps, les performances de différents modèles dans le contexte de recherche de textes simulés par des utilisateurs réels ont été comparées. Les résultats montrent que les modèles principaux BM25IR, Sentence-BERT et Elasticsearch obtiennent tous des scores de 1,00 en Precision@10 et nDCG@10, ce qui indique qu’ils ont une bonne capacité à récupérer tous les textes pertinents lors de la 10e réussite ; les deux indicateurs de Word2VecIR sont également bonnes (Precision@10 à 0,88, nDCG@10 à 0,89) ; les indicateurs de RandomIR atteignent les valeurs minimales.  

Lorsque le seuil est élevé à K=20, BM25IR, Sentence-BERT et Elasticsearch conservent des performances de recherche très élevées (Precision@20 à 0,97–1,00, nDCG@20 à 0,98–1,00), avec seulement une légère diminution par rapport à K=10. Les valeurs de MAP@20 des modèles sont toutes améliorées (BM25IR à 0,30, Sentence-BERT à 0,31, Elasticsearch à 0,29), mais globalement, elles restent nettement inférieures à Precision et nDCG. Cela est principalement dû au fait que, pour certaines requêtes, le nombre de documents pertinents est bien supérieur au K, ce qui fait que même si tous les résultats de recherche sont pertinents, le score MAP est réduit car la dénominateur est le nombre total de documents pertinents. Avec K=20, Word2VecIR voit encore diminuer les indicateurs (Precision@20 à 0,86, nDCG@20 à 0,87, MAP@20 à 0,16), tandis que RandomIR reste toujours très mauvais. Il convient de souligner que, même si les modèles principaux atteignent des performances presque parfaites en termes de Precision et nDCG, les valeurs de MAP restent nettement inférieures aux deux premiers, en raison de la configuration statique du K et de la distribution de corrélation. Cela montre que, si le nombre de documents pertinents dépasse largement le seuil de recherche K, le MAP ne sera proche de 1 que lorsque la majorité des documents pertinents se trouvent en tête. Dans l’ensemble, BM25IR, Sentence-BERT et Elasticsearch montrent une grande robustesse et capacité de classement dans la recherche de documents pertinents basés sur des sujets, tandis que Word2Vec est plus instable en termes d’indicateurs sensibles au classement avec l’augmentation du K. Cette différence confirme davantage l’efficacité de stratégies de recherche complexes dans la recherche de documents pertinents pour des essais de rédaction.  

(3) Discussion des résultats expérimentaux  

Cette étude utilise deux méthodes d’évaluation : le K dynamique et le K statique, afin de comparer systématiquement les performances de différents modèles de recherche dans la tâche de recherche de modèles de rédaction en anglais. Les résultats expérimentaux montrent que le modèle Sentence-BERT est nettement supérieur à tous les autres modèles dans la plupart des indicateurs, tant en MAP, nDCG que F1, et peut stablement classer les documents à haute corrélation en première position, tout en présentant une grande robustesse sous différents paramètres de seuil. BM25 et Elasticsearch ont certains avantages en termes de matching de mots-clés traditionnels et d’efficacité de recherche, et, malgré les ressources de calcul limitées, ils conservent une grande précision de recherche selon les résultats expérimentaux, ce qui les rend adaptés à des contextes où les ressources sont limitées ou où une efficacité élevée est requise ; en revanche, le modèle Word2Vec est limité par la taille des données d’entraînement et la capacité de gestion des mots polysémiques, ce qui le rend relativement moins efficace dans les conditions expérimentales actuelles. Dans l’évaluation du K dynamique, il a été découvert que l’ajustement du valeur de K permet d’examiner de manière complète l’équilibre entre la précision et la couverture des différents modèles, et les résultats expérimentaux indiquent également qu’une configuration appropriée du K dynamique contribue à une évaluation à l’échelle du système. Dans les expériences du K statique, afin de se rapprocher des scénarios de recherche réels des utilisateurs, le K est fixé à 10 et 20, et les performances des différents modèles sont observées. BM25IR, Sentence-BERT et Elasticsearch atteignent tous près de 1,0 sur les indicateurs Precision@K et nDCG@K, et peuvent stablement classer les documents pertinents en première position. Avec l’augmentation de la valeur de K, les indicateurs sensibles à la répartition, comme le MAP, augmentent nettement, mais comme le nombre de documents pertinents pour certaines requêtes dépasse largement la valeur de K, les scores de MAP sont globalement inférieurs à ceux de Precision et nDCG. Le modèle Word2Vec montre une performance encore plus faible dans cette évaluation, reflétant sa sensibilité aux données d’entraînement et aux ambiguïtés sémantiques. En général, ces résultats indiquent que, dans les situations pratiques où les exigences en termes de précision de recherche ne sont pas très élevées ou dans l’enseignement quotidien, les modèles de recherche principaux permettent tous des résultats de recherche satisfaisants. Dans les applications réelles, il est possible de choisir différents modèles en fonction des besoins spécifiques et des ressources du système.  

Le Sentence-BERT montre une excellente capacité de compréhension sémantique profonde, permettant de détecter avec précision le sens dans des textes complexes et de réaliser des recherches efficaces. Reimers et Gurevych (2019) ont indiqué que, en générant des vecteurs de phrases de haute qualité, il peut réduire considérablement le temps de réponse pour les recherches sémantiques à grande échelle. Ces performances le rendent particulièrement adapté aux tâches d’enseignement exigeant une bonne compréhension sémantique, telles que les recommandations personnalisées, l’aide à la rédaction intelligente et les suggestions de textes de référence avancés, mais cela augmente également les besoins en ressources informatiques, ce qui le rend approprié pour être déployé dans des environnements dotés d’une meilleure infrastructure. Les modèles de recherche traditionnels tels que BM25 et Elasticsearch, grâce à leur capacité stable de matching de mots-clés et à leur faible consommation de ressources, conservent une grande utilité dans les systèmes éducatifs. Dans les tests de référence BEIR, BM25, en tant que ligne de base pour les recherches sans exemple, se montre toujours plus performante que la plupart des modèles de recherche sparse et dense dans les tâches de recherche de documents multidisciplinaires, illustrant ainsi son utilité pratique et sa stabilité. Par conséquent, dans des contextes où les exigences en termes d’efficacité et de stabilité du système sont élevées, tels que l’indexation des noms de cours, la localisation des mots-clés dans les manuels ou la recherche rapide des ressources pédagogiques, BM25/Elasticsearch pourrait être le choix plus approprié. Word2Vec permet de mesurer efficacement la similarité sémantique entre les mots, et théoriquement possède le potentiel d’étendre la diversité des expressions, ce qui le rend adapté pour des tâches d’assistance telles que la réécriture automatique. Cependant, des études montrent que lorsque l’échelle du corpus d’entraînement est limitée ou que le contexte est complexe, ces modèles produisent des vecteurs de mots de faible qualité, entraînant une inexactitude sémantique et des problèmes de similitude artificielle (par exemple, les significations de “bank” sont confuses selon les contextes, ou “cat” et “chair” sont mal identifiés). Par conséquent, Word2Vec est plus adapté comme outil auxiliaire dans les systèmes d’enseignement de la rédaction, et doit être utilisé avec prudence en combinaison avec des corpus de grande taille et de qualité, ainsi que avec les besoins spécifiques du projet. En résumé, les trois modèles ont des spécialisations différentes : Sentence-BERT est adapté pour la compréhension sémantique profonde et les recommandations intelligentes ; BM25/Elasticsearch répond aux exigences de recherche de mots-clés fondamentaux et d’efficacité ; Word2Vec peut servir d’outil complémentaire pour les tâches liées à la diversité de l’expression.  

4. Résumé des cas  

(1) Conclusion de la recherche  

Face à la manière actuelle, dans laquelle la plupart des travaux connexes ne choisissent qu’une seule voie technique pour comparer ses performances, cet article part des modèles de recherche d’informations principaux tels que BM25, Word2Vec, Sentence-BERT et Elasticsearch, et analyse de manière complète et comparative différentes approches techniques dans la tâche de recherche de modèles de rédactions en anglais. Les recherches montrent que le modèle de sens de réseau de neurones sous la structure Transformer, Sentence-BERT, est le plus performant sur tous les indicateurs, reflétant plus précisément les relations sémantiques profondes entre les documents, et offre une bonne stabilité pour toutes les types de requêtes concernant le sujet ou le texte intégral. De plus, les méthodes traditionnelles basées sur des mots-clés/index inversé, BM25 et Elasticsearch, bien qu’elles soient performantes et stables lorsqu’on dispose de peu de ressources de calcul ou lorsque l’accent est mis sur la recherche basée sur les correspondances de mots-clés, ne permettent pas directement une recherche sémantique, et sont également difficiles à utiliser pour les tâches de rédaction de base lorsque les données d’entraînement sont insuffisantes. De plus, le modèle de réseau de neurones à vecteurs de mots typique Word2Vec nécessite une grande quantité de données d’entraînement ; dans cette expérience, en raison de la taille limitée des données utilisées, Word2Vec ne parvient pas à distinguer et à correspondre correctement aux mots polysyllabiques et aux sémantiques complexes, ce qui montre que ces modèles ont besoin de grandes quantités de données de haute qualité pour être utilisés dans des situations réelles. Du point de vue des applications éducatives, les quatre modèles principaux ci-dessus offrent toutes des performances bonnes dans les tâches de recherche intelligente de rédactions : lorsque la qualité des rédactions est importante et que les performances sont bonnes, utiliser Sentence-BERT permet aux enseignants et aux étudiants d’utiliser de meilleures rédactions ; dans les cas où les ressources sont suffisantes et où les capacités de calcul sont élevées, cela permet également d’utiliser de meilleures rédactions. BM25 et Elasticsearch offrent des avantages notables en termes de simplicité d’utilisation, de réponse rapide et de nécessité minime de ressources matérielles. Cela est particulièrement adapté aux recherches à grande échelle dans le domaine de l’enseignement, aux recherches quotidiennes ou aux tâches de rédaction de base. Word2Vec permet de maintenir une certaine capacité sémantique, constituant une solution équilibrée dans le cadre des contraintes de ressources. Il est nécessaire de choisir la configuration du modèle en fonction des ressources informatiques de la plateforme, des besoins d’application et de la durée du cycle de développement, afin d’obtenir le meilleur rapport qualité-prix et de répondre à l’objectif d’une efficacité et d’une vitesse optimales dans l’application. Cette étude a démontré que les modèles de réseaux de neurones présentent une supériorité par rapport aux autres modèles dans le domaine de la recherche intelligente de la rédaction en anglais, et a proposé des essais utiles concernant le choix des modèles dans différents contextes éducatifs ainsi que l’optimisation des systèmes d’aide à la rédaction. Par la suite, des essais de fusion de plusieurs modèles et de intégration système seront menés pour promouvoir le développement informatisé et intelligent de l’enseignement de la rédaction en anglais.  

(2) Limites  

Bien que les systèmes de recherche aient comparé les différents modèles de recherche d’informations pour la recherche de modèles de rédaction en anglais, il existe encore certaines limites : premièrement, les ensembles de données utilisés pour l’IELTSS concernent une distribution inégale des thèmes et des long-tails marqués, ce qui peut conduire, dans l’application pratique des données, à que les capacités de prédiction basées sur les modèles existants se concentrent sur les thèmes plus faciles à accepter par les modèles, mais pour certains sujets peu populaires ou interdisciplinaires, la précision de la recherche de modèles est relativement faible ; deuxièmement, l’évaluation de la pertinence actuelle se fait uniquement en se basant sur la cohérence des étiquettes, sans tenir compte de la véracité de la rédaction, de la pertinence du sujet ni de la diversité sémantique. Aucun standard officiel n’existe pour l’instant, sans parler de l’utilisation de formes de étiquettes cohérentes pour la sélection des représentants ; dans la modélisation, on utilise principalement les métriques MAP de corrélation et NDCG, mais avec un petit nombre de modèles de référence et des longueurs de textes différentes, il est impossible de quantifier complètement l’efficacité de ce modèle ; en matière d’optimisation algorithmique, il est nécessaire de continuer à étudier à la fois l’optimisation algorithmique et l’amélioration de l’efficacité du modèle, ainsi que la qualité de la rédaction et les applications pédagogiques ; la taille de l’échantillon pour l’analyse de sensibilité des paramètres est limitée.  

(3) Perspectives futures  

Cette étude a démontré l’efficacité des modèles de recherche d’information principaux dans la recherche de modèles de rédactions en anglais, mais il est possible de poursuivre les recherches dans cette direction à l’avenir sous les angles suivants : premièrement, augmenter la quantité de corpus et élargir les sources de corpus ; deuxièmement, sur la base du modèle choisi, combiner d’autres modèles pour explorer des méthodes de fusion de plusieurs modèles afin d’améliorer les performances du modèle dans la recherche de sens complexes et de diverses expressions ; troisièmement, examiner systématiquement l’impact des méthodes de pré-traitement du texte telles que la réduction des formes, l’extraction du radical et le traitement des mots inutiles sur les performances du modèle ; enfin, intégrer les habitudes et préférences des utilisateurs, permettre au système de s’intégrer mieux dans des scénarios réels d’enseignement de l’anglais, optimiser les retours du système, et utiliser ses ressources de données pour étendre ses fonctionnalités. Avec le développement de technologies telles que l’intelligence artificielle et le traitement du langage naturel, les systèmes de recherche de modèles de rédactions se transformeront progressivement en outils d’enseignement de la rédaction en anglais.