AI驱动的英语议论文范文智能检索系统：主流信息检索模型的对比与成效分析
乌普萨拉大学（瑞典）
【摘要】本案例基于英语议论文数据，设计实现了一个基于人工智能和自然语言处理的英语议论文范文检索系统，集成了 BM25、Word2Vec、Sentence-BERT 和 Elasticsearch 四种主流模型，并开发了简易 UI 界面展示系统功能。实验系统地比较了各模型在范文相关性与排序能力方面的表现。结果表明，四种模型均可胜任英语写作范文检索任务，但基于 Transformer 的 Sentence-BERT 模型在语义相似性识别和检索精度方面表现最为突出。BM25 和 Elasticsearch 等传统模型在资源有限或侧重关键词检索的场景下同样具备实际应用价值，系统可根据教学需求与平台资源灵活选择模型。本案例为智能化英语教学检索工具的开发与应用提供了参考。
【关键词】人工智能；信息检索模型；英语写作教学
在英语作文教和学的过程中，范文是非常重要的资源。传统的关键词检索和人工筛选方法在相关性与效率等方面均存在显著局限，难以满足大规模与个性化教学需求。目前采用传统关键词检索或者人工挑选的方法来进行范文的选取，二者有其不可避免的问题：一方面，关键词检索不能完全顾及到真实环境下学生所关注的一些细节内容；另一方面人工筛选的速度比较慢，若涉及到几十篇甚至几百篇文字就显得非常的繁复低效。随着 AI 和 NLP 的发展热潮，使用基于深度学习和语义理解的信息检索模型进行教学文本检索可以大大提高范文检索的准确度以及智能化程度。如何利用上述新技术手段实现高精度、智能化的相关范文推荐就成为了一个亟待研究的重点。本案例收集整理约 2000 篇雅思议论文语料，以研制“如何实现高效、智能、相关性强的范文推荐”的范文推荐系统为目的，在此基础上设计实现了一个集成了多款主流检索模型的范文推荐系统。系统内部包含 BM25、Word2Vec、Sentence-BERT、Elasticsearch 等四类主流检索模型，并且利用实验对比的方式分析其在准确率、排序能力等方面不同特点，针对每一种模型类型分析其具体在英语写作教学方面具备的利弊。实验结果表明：基于 Transformer 的 Sentence-BERT 模型在语义相似性和检索精确度等指标上明显优于其他模型，在语义理解和个性化推荐方面具有很好的适用性。BM25 与 Elasticsearch 虽然较为传统，却在诸如关键词匹配、检索速度上更具优势，适合资源有限或大规模检索等应用场景；Word2Vec 模型在语料规模受限条件下表现有限，但作为兼顾效率和基础语义能力的折中方案，仍具一定适用价值。综合来说，四种模型均可在不同资源与需求条件下胜任英语写作范文检索任务，可根据实际任务需求结合模型特点与条件考量进行选用。
一、英语写作范文检索的现实需求与系统创新
（一）英语写作教学中范文检索的现实问题与需求
在英语写作教学中，借助高质量范文有助于提高学生的写作水平，对于学术类的考试作文以及任务型写作的作文来说更是如此。但是由于目前大多数师生都是靠关键词搜索或者人工筛选的方式找范文，所以这种办法十分低效，同时搜到的结果也不是非常准确，也无法满足日益庞大的教学量的需求以及满足学生的一些个性化要求。一方面来说，传统的检索方式受限于词面信息匹配度不高，不能准确把握语义信息层面的关系，使得一些优质的范文很难被学生获取。另一方面，随着写作教学任务题材类型的增加，对于范文检索的自动化、智能化以及高相关的推荐成为一种迫切需求。随着近年来人工智能和自然语言处理的发展，给英语范文的检索带来了新的可能性，基于深度语义理解的信息检索模型可以更好地实现个性化、精准化范文的推荐，从而有利于推动英语写作教学的高质量发展。
（二）信息检索技术与语言教学的创新融合
随着 AI 技术的深入发展，信息检索模型在语言教学领域正迎来新的融合契机。现有传统英语写作教学方式中的范文检索主要是基于关键词或者依靠人工实现的方式来进行的，存在着效率较低、语义理解程度不高等问题。这些问题可由信息检索技术协助进行改善或解决。BM25 作为经典关键词概率检索模型，基于词频与文档长度归一化，在大规模教学资源中依然表现出良好的检索效率和稳定性。伴随向语义驱动发展迈进，Word2Vec、FastText、Glove 等词向量模型将词映射为向量形式并可获取上下文中的语义相似关系，能够满足教学系统基于语义进行同义词替换以及语义匹配等需求；当下学界已采用基于 Transformer 架构的 Sentence-BERT 完成对句子的语义深层次理解，通过生成高质量语义向量，从而达到高质量地对写作范文的结构、逻辑以及论点进行匹配及排序，使检索相关性更强，教学推荐质量更高。在教育技术领域，已有研究广泛探讨了人工智能与信息检索技术在写作教学中的应用潜力，并提到利用 AI 写作辅助工具的语篇检索及范文推荐的功能，可以针对二语学习者的写作过程呈现不同的适应性反馈结果，进而促进二语学习者语言组织和内容构建的能力。基于大量关于语言模型的实验数据证明，Yang、Zhang 和 Lin（2019）得出，使用 BERT 语义检索模型在即席文档排序方面要好于传统的关键词匹配法，利用教育技术实现场景下语义驱动的作文检索是可行的。Alves Pereira、Komarlu 以及 Mobeirek（2023）从信息检索的角度出发，对比分析了多种 AI 写作工具的用户情况，发现用户检索质量的增加不仅能增加用户写作的参与程度，还能大大提高用户创作的内容观点多样性。这些研究表明，AI 辅助教学材料的检索已经逐步从过去的关键词匹配加人工选取过渡到深层语义理解技术。同时，这种将信息检索技术应用于语言教学的做法也契合了计算机辅助语言学习（CALL）的发展趋势。它可以被视为“数据驱动学习”（Data-Driven Learning, DDL）的一种实践形式。这种教学理念由 Johns（1991）提出，强调通过语料库检索让学生主动发现语言规律，从而更有效地掌握语言知识。此外，这种模式也与智能计算机辅助语言学习（ICALL）的发展方向一致。例如，Amaral 和 Meurers（2011）指出，ICALL 系统利用自然语言处理（NLP）技术，不仅能提供基于人工智能的语言练习，还可以结合学生的学习数据，给出个性化反馈，从而提升学习者的自主性和整体学习体验。
（三）检索系统介绍与展示
针对以上提到的英语写作教学中范文检索效率低、相关性差等问题，结合前述研究，本案例基于雅思写作语料库，利用 BM25、Word2Vec、Sentence-BERT 和 Elasticsearch 四类检索模型，由浅至深涵盖从基于词频检索、基于词向量语义计算再到基于深度语义理解的技术梯度，设计并开发了基于多种检索模型融合的智能检索系统，实现了多模型集成化、模块化。同时能够在同一界面下，自由选择不同的检索模型，直观比较各算法推荐的效果，并对多个模型做系统性的比对与评价，从而确定适宜的教学应用场景。此外，为了更好地提升用户交互体验度，我们采用 PySide6 实现了一个轻量级的图形界面，程序启动后会根据当前用户的输入调用不同的模型算子完成各自的相似度计算，最后得到排序的结果。页面提供全文预览功能，方便教学及研究时使用，也为后面各种辅助功能的工具提供了开源模板基础。
二、主流检索模型在范文检索中对比实验方案与评估方法
（一）研究问题
本研究主要用以验证信息检索方法应用于英语写作范文检索的合理性以及推广应用价值，并尝试探索 BM25、Word2Vec、Sentence-BERT 和 Elasticsearch 这几种不同的信息检索方法应用于范文检索的效果；然后通过实验比较以上这些传统检索方式和神经网络模型及成熟的商用检索引擎，最后对其教育方面的价值与弊端进行分析，并且给出在实际英语写作教学中使用不同类型模型的参考建议。
（二）数据集说明
该研究所采用的“IELTS-writing-task-2-evaluation”数据集来自 HuggingFace 开放平台，其中包含 9 千多篇由真实考生书写的雅思 Task 2 议论文，并且每篇文章均有对应的人工评分和任务题目（prompt），本文所涉及话题包含教育、科技以及环境等领域。由于本研究的侧重点在于探究不同信息检索模型在英语作文范文检索任务中对于目标信息的相关性表现，而非对其英语写作水平的判断与主观评价，故选取了该数据集中涉及的写作题目（prompt）及文章本体用于被检取词模式的构建以及后期对比分析，而对评分指标等内容不再使用。
（三）模型介绍与相似度计算方法
本文采用的四类信息检索模型分别是：从传统的基于词频的 BM25 模型，到近些年被广泛使用的 Word2Vec 词向量模型，用于深层挖掘句子语义的 Transformer 神经网络模型——Sentence-BERT，以及目前应用广泛的工业级检索引擎 Elasticsearch。
BM25（Best Matching 25）是一种经典的词项匹配检索模型，由 Robertson 和 Walker 最早提出，其简化版本已被广泛应用于多种信息检索系统中，如 Elasticsearch、Lucene 等。BM25 利用非线性词频函数以及文档长度的归一化解决了关键词过于频繁或者文档过于长导致的相关性评分的影响。但是它依然是一种基于词项重合的浅层匹配方法，不能从语义、上下文层面获取更多的信息。在本次实验中，我们采用 rank_bm25 库中的 BM25Okapi 实现 BM25 模型并调用其评分函数。如上所述，BM25 综合考虑了词频、文档长度、词项在语料中的分布状况，以此来评价查询与文档的相关程度。
Word2Vec是 Google 公司在 2013 年发布的一款词嵌入模型，该模型借鉴了 J.R. Firth 的观点“词义取决于其上下文”，将词语映射到词向量的空间，语义越接近的词语，在向量空间的距离就比较近，然后用此方法来计算单词间的语义关系。本研究中采用 Gensim 库进行实现，并且根据余弦相似度，以依次递减的方式完成文章的排序和检索。虽然 Word2Vec 能够抓取浅层语义关系，但是因为 Word2Vec 只是基于局部上下文的词向量，因此对于多义词以及词语深层次含义，则无法体现出来。首先我们使用 Numpy 获取查询和每篇作文的词向量平均值并作为文本向量，再利用余弦相似度进行降序排列，达到基于语义的检索效果。
Sentence-BERT（SBERT）是对经典 BERT 模型的优化，通过融合 Siamese 和 Triplet 网络架构，它能够高效地生成句子级别的语义表示并计算句子间的相似度。SBERT 支持多种池化策略，包括 CLS token、平均池化和最大池化。在本研究中，我们使用了 HuggingFace 提供的预训练模型 paraphrase-MiniLM-L6-v2，并借助 sentence-transformers 库来提取句子向量。该模型产生的句向量维度为 384，能够无需进一步微调即可直接用于语义检索任务。在评分机制方面，与 Word2Vec 类似，SBERT 采用余弦相似度来衡量句子或文本间的语义相似性，得分越高意味着语义关联性越强。
Elasticsearch是基于 Apache Lucene 开发的一个具有分布式的、简单灵活的搜索和分析引擎，既可以轻松配置多节点集群，也能够快速响应各种类型的查询。本文使用 Elasticsearch v8.7 进行相关设计及开发，并以倒排索引与 JSON 文档存储相结合的混合架构为依托，使用自动化的方式设置节点及其管理方式，充分保证了数据的正确性；其次，在索引结构上将原文本、原文本分段、加工后词元与原文本统一到一起存储，增加 copy_to 字段的使用来提高检索相关性，并设置 BM25 参数（k_1=1.5，b=0.8），适用于本次文章的不同长度；最后，在本文中将 Elasticsearch 的文档相关性评分机制看成是一种修改过的 BM25 模型，其利用 BM25 算法进行相关性打分和排序，仅在 idf 计算方式等其他实现细节方面参考了官方设定。
（四）实验评估方法与指标
在信息检索系统中经常用到 K 表示系统用户每次检索后，返回给用户的 K 条检索结果（Top-K）。这种设置决定了用户的浏览范围，是各类检索系统评价指标（Precision@K、Recall@K、NDCG@K 等）的重要参数。为了更加准确地体现出检索系统的实际效果，在此基础上，本研究引入了静态 K 以及动态 K 两种评估方法。静态 K 设置为固定值（如 K=10 和 K=20），用来模拟学生或教师只浏览检索结果前两页的典型情境，这种设置有助于考察模型在“有限曝光”的情况下能否抓取更多具有高相关性的文档，该参数的设定直接反映了实际用户浏览习惯。从用户实验可以看出，在检索过程中绝大多数用户只读取前面第 10 到第 20 条结果，在此情况下评价 Top-K 检索模型最为合理。而对于动态 K，采取基于每一项检索任务的真实相关范文数上下浮动，选取 K 为实际相关文档数量的 0.8 倍、1.0 倍、1.2 倍、1.4 倍和 1.6 倍（记作 K_ratio）的方法，避免了因为 K 过大或者过小而导致的评价不平衡问题，在此基础上给出的是针对规模不同的检索任务或者难度不同检索任务的各个模型的对比及查全率和查准率的动态变化情况。
为了能更准确地评判不同检索模型在英语作文范文检索任务上的优劣情况，我们选取了较多的主流的信息检索评估指标。准确率（Precision）衡量在系统返回的前 K 条检索结果中，相关文档所占的比例，反映了用户获取高质量文档的效率；召回率（Recall）表示在所有相关文档中被系统成功检索到的比例，体现了系统的查全能力；F1 分数是准确率与召回率的调和平均值，用于衡量检索系统在“查全率-查准率”之间的整体平衡。平均准确率（Mean Average Precision, MAP@K）衡量模型对所有查询的整体排序质量：对于单一查询，先计算每一个相关文档被检索到时的准确率，再取平均值，最后对所有查询求平均值。归一化折损累计增益（NDCG@K）考察最相关文档是否被排在最前，更符合用户期望的使用体验。
（五）实验流程
为了全面评估各种信息检索模型在英语写作范文检索任务中的适用性与效能，本研究设计了以下实验流程：
1. 实验数据预处理：从 HuggingFace 下载了雅思议论文 Task 2 数据集，选取了前两千条记录，并进行了适当的文本清洗。随后，我们应用了统一的文本清洗、分词、去除停用词以及标点符号等预处理步骤。
2. 实验模型集成：分别集成 rank-bm25 库的 BM25 检索模型、基于 Gensim 和 sklearn 的 Word2Vec-Cosine 检索模型、基于 sentence-transformers 库预训练模型及余弦相似度计算的 Sentence-BERT 检索模型、基于 elasticsearch-py 接口及后端倒排索引实现的 Elasticsearch 检索模型。由于四种不同检索模型的检索原理存在差异，为了便于将四者之间的性能进行对比，我们额外设计一种随机检索（RandomIR）模型，其中每次向该模型返回的都是随机取出 K 数量的文件列表的结果，并没有考虑到查询与文件的任何相关性。所有的模型均用 Python 语言编写，并且都实现了多模型检索、检索出结果文件后按照排序逻辑返回给用户等功能的类封装，能够随时调用、方便快速切换使用的检索方式。
3. 检索任务设置与准备：实验设计通过采用写作题目（prompt）作为检索需求的输入进行检索，模拟实际的用户检索范文的场景。为减小单一 groundtruth 规模造成的偏倚影响，设置了 5 个不同的查询（query）对应于真实标签（groundtruth）的文章数量分别为：200、112、63、22、397 篇文章，规模呈阶梯分布，并将它们按随机方式划分为两部分，即分别有 80% 和 20% 的 train 和 test 数据。最后通过两个不同尺度（大、小）的 groundtruth 规模的检索任务的性能对比分析来确保实验结果的公信力，使得模型评估能够更好地体现出数据规模对检索任务的影响程度。
4. 多模型对比与结果输出：所有模型均在统一的平台和数据集上完成实验，并输出了在不同评价指标和 K 值下的详细检索表现，绘制了相关图表以便于横向对比和综合分析。
三、实验结果、分析与讨论
（一）动态 K 实验结果与分析
在 k_ratio=1 的动态 K 设定下（即 K 取每个 query 真实标签数量），五个模型在五组 query 上的 MAP（Mean Average Precision）平均值表现出明显差异。RandomIR 作为随机基线，MAP 值仅为 0.01，说明其检索结果与相关文档排序几乎无关。Word2VecIR 的平均 MAP 为 0.64，表现明显落后于其余主流模型。BM25IR 和 Elasticsearch 均取得了 0.86 的平均 MAP，显示出基于词项匹配和工业级检索引擎的可靠性和稳健性。而 Sentence-BERT 模型表现最佳，平均 MAP 达到 0.91，显著优于其它方法，表明其在综合语义理解和排序相关性方面具备明显优势。总体来看，深度语义模型（Sentence-BERT）在英语写作范文检索任务中具有更强的相关文档排序能力，而 BM25 与 Elasticsearch 则能提供稳健的检索表现，Word2Vec 在小数据集条件下则显示出一定局限性。
除 RandomIR 外，在不同的 k_ratio 条件下，其余各模型的 nDCG 平均值都比较高，并且比较稳定，说明主流的检索模型在候选结果数量发生改变的情况下仍然能保证把大部分相关文档排到检索结果的前面，可以得到理想的前向排序效果。特别是在 k_ratio=0.8 时，BM25IR、Elasticsearch、Sentence-BERT 的 nDCG 值均接近 1，表明排序准确率和用户体验能够得到充分保障。进一步分析可以看出，Sentence-BERT 的 nDCG 始终位居首位，且随 k_ratio 变化波动极小，显示了深度语义模型在范文检索中的强大鲁棒性。BM25IR 和 Elasticsearch 也保持在 0.95 以上，结果稳定可靠。Word2VecIR 整体低于上述三者，但较随机方法（RandomIR，nDCG 仅 0.05–0.1 左右）有显著提升，充分证明了主流模型对于相关文档排序的优势。
不同的检索模型 F1 分数有轻微的波动，但在所有模型的 k_ratio 取值为 1 时，其准确率和召回率均是最佳的，此时的 F1 分数也均达到了顶峰。可见 Sentence-BERT 模型的 F1 分数最高，几乎达到了 0.9，是其他模型的好几倍，因此该模型在范文检索方面具有良好的综合性能。而随着 k_ratio 的增加，大部分模型的 F1 分数呈现出了逐渐降低的趋势，其中 BM25IR 和 Elasticsearch 从 0.86 降低到了 0.7 左右，但是 Word2VecIR 始终处于较低的水平线，没有高于 0.7。随机检索（RandomIR）始终处于 F1 分数极低的位置，只是被用作下限的基线。由此可见，较为合适的 k_ratio（如 k_ratio=1），能更加真实地展现检索模型的效果，不会因为查全率的提高而使查准率随之下降。
随着 k_ratio 的增加，各模型的准确率（Precision）普遍下降，而召回率（Recall）则逐步提升，体现了二者在检索任务中的天然权衡关系。尤其值得注意的是，Sentence-BERT 在各个 k_ratio 下始终保持领先地位，在 k_ratio=0.8 时准确率高达 0.98，而在 k_ratio=1.6 时召回率最高达到 0.93。这一趋势也与之前 F1 分数的表现相吻合，说明该模型在平衡查准率与查全率方面具有显著优势。
除了比较各模型产生的最终排序结果之外，我们还给出了所有模型的 PR 曲线和 AUC 值。PR 曲线是为了显示在不同的召回率情况下，各个模型下得到的相关文档的比例大小，也就是它们在不同检索门限下的取值。此外还计算了每个模型的 AUC，综合表示模型的总体检索能力。AUC 越大，说明模型在某一个阶段一定能找到相关度高的文档并保持较高查准率；反之亦然，即如果某一时刻无法找到相关性高的文档，则这一阶段的检索都是较差的；无论哪一个阶段都做到这一需求时才是最好的，这也能够表示模型在一定范围内相关度高的文档都能被检索到且保持着查准率很高。从结果可以看出，Sentence-BERT 的 AUC 值最高，为 0.14，在所有不同的阈值条件下都可以表现出优秀的检索效果，而随机检索（RandomIR）AUC 仅为 0.004，远远低于其他主流模型。
（二）静态 K 实验结果与分析
静态 K 评估则是使用 K=10 和 K=20 来评价各种模型在模拟真人的范文检索过程中的性能。同时，对比了不同模型在模拟真实用户范文检索情境下的表现，结果 BM25IR、Sentence-BERT 和 Elasticsearch 3 种主流模型在 Precision@10、nDCG@10 下都得到 1.00 的结果，这说明其具有较好的能力把所有的相关范文全部召回到第 10 命中；Word2VecIR 两个指标也都较好（Precision@10 为 0.88，nDCG@10 为 0.89）；RandomIR 的指标都为最低值。
当阈值提升到 K=20 时，BM25IR、Sentence-BERT 和 Elasticsearch 依然维持了极高的检索性能（Precision@20 为 0.97–1.00，nDCG@20 为 0.98–1.00），仅较 K=10 略有下降。所有模型的 MAP@20 值有所提升（BM25IR 为 0.30，Sentence-BERT 为 0.31，Elasticsearch 为 0.29），但整体仍显著低于 Precision 和 nDCG。这主要是因为部分查询下相关范文数远多于 K 值，导致即使所有检索结果都相关，MAP 由于分母为全部相关文档总数，最终得分仍被拉低。Word2VecIR 在 K=20 下各项指标进一步下降（Precision@20 为 0.86，nDCG@20 为 0.87，MAP@20 为 0.16），RandomIR 始终表现极差。需要特别指出的是，即使在 Precision 和 nDCG 等指标上主流模型表现接近完美，MAP 值依然受到静态 K 设置与相关性分布的影响显著低于前两者。这说明，若相关范文数远超检索阈值 K，只有当绝大多数相关文档均排在最前面时，MAP 才会与 Precision 和 nDCG 一致接近 1。总体来看，BM25IR、Sentence-BERT 和 Elasticsearch 在基于题目的范文检索中展现出极高的稳健性与排序能力，而 Word2Vec 在排名敏感指标上随 K 值增加表现更为不稳定。这一差异进一步验证了复杂检索策略在议论文范文检索中的有效性。
（三）实验结果讨论
本研究采用动态 K 与静态 K 两种评估方法，系统比较了不同检索模型在英语写作范文检索任务中的表现。实验结果显示，Sentence-BERT 模型在大多数指标下均显著优于其他模型，无论是在 MAP、nDCG 还是 F1 等指标上，都能稳定地将高相关性文档排序于前列，并在不同阈值设置下表现出较高的鲁棒性。BM25 与 Elasticsearch 在传统关键词匹配和检索效率方面具有一定优势，同时在计算资源有限的情况下，从实验结果来看仍能保持较高的检索准确性，适用于资源受限或对效率要求较高的应用场景；而 Word2Vec 模型受限于训练数据规模和多义词处理能力，在当前实验条件下效果相对较弱。在动态 K 评估下，研究发现通过调整 K 值可以全面考察不同模型在查准率与查全率之间的平衡，实验结果还提示，合理设定动态 K 的取值有助于系统层面评估。在静态 K 实验中，为更贴近实际用户检索场景，将 K 设置为 10 和 20，并观察不同模型的表现。BM25IR、Sentence-BERT 和 Elasticsearch 在 Precision@K 与 nDCG@K 指标上均接近 1.0，能够稳定地将相关文档排名于前列。随着 K 值增加，MAP 等排名敏感指标明显提升，但因部分查询的相关文档数量远超 K 值，MAP 得分整体低于 Precision 和 nDCG。Word2Vec 模型在该评估中表现进一步下降，反映出其对训练数据和语义歧义问题的敏感性。总体来看，这一结果表明，在日常教学或对检索精度要求不极高的实际场景下，主流检索模型均能获得较为理想的检索效果，实际应用时可根据具体需求和系统资源灵活选用不同模型。
Sentence-BERT 展现出卓越的深层语义理解能力，能够在复杂文本中准确捕捉语意，并实现高效检索。Reimers 和 Gurevych（2019）指出，其在生成高质量句子向量的同时，可极大缩短大规模语义检索的响应时间。这种性能使其非常适用于对语义理解要求高的教学任务，如个性化推荐、智能写作辅助和高阶范文推送，但其对计算资源的需求也相应增加，适合部署在硬件条件较优的环境中。传统检索模型如 BM25 与 Elasticsearch 则凭借稳定的关键词匹配能力和低资源消耗，在教育系统中仍具广泛应用价值。在 BEIR 基准测试中，BM25 作为零样本检索基线，在多领域文档检索任务中表现仍优于多数稀疏和稠密检索模型，彰显其实用性和稳定性。因此，在课程名称索引、教材关键词定位或教学资源快速检索等对效率及系统稳定性要求较高的场景中，BM25/Elasticsearch 可能是更合适的选择。Word2Vec 能有效衡量词语间语义相似性，理论上具备表达多样性扩展的潜力，适用于自动改写等辅助任务。但研究显示，在训练语料规模有限或语境复杂时，其易生成低质量词向量，导致语义不准确及伪相似性问题（例如“bank”在不同语境下含义混淆，或“cat”与“chair”被错误识别）。因此，Word2Vec 在写作教学系统中更适合作为辅助工具，需结合大规模优质语料和任务需求审慎使用。综上所述，三类模型各有侧重：Sentence-BERT 适合深层语义理解与智能推荐；BM25/Elasticsearch 满足基础关键词检索与效率要求；Word2Vec 在表达多样性任务中可作为补充工具。
四、案例总结
（一）研究结论
针对目前大多数相关工作只选取其中一种技术路线来对比其效果的方式，本文从 BM25、Word2Vec、Sentence-BERT 以及 Elasticsearch 等主流信息检索模型出发，在英语写作范文检索任务上，综合对比分析各种不同的技术路径。研究发现，Transformer 架构下的神经网络语义模型 Sentence-BERT 在所有指标上的效果最好，更加准确地体现出文档间的深层语义联系，针对题目、全文不同类型的查询，均能达到较好的稳定性；此外，传统基于关键词/倒排索引的方法 BM25 和 Elasticsearch 虽然在仅有少量计算资源或者更多地将焦点放在基于关键词匹配的检索时会具有较高的性能和稳定性，但是这些方法不能直接支持语义层面的查找，也难以支撑训练语料不足条件下的基础写作任务。并且 Word2Vec 这种典型词向量神经网络模型对于训练数据量的需求较大，在此次实验中，受限于实验用语料规模有限的影响，Word2Vec 对多义词和复杂语义的区分匹配不如 Sentence-BERT，这也体现了该类模型在真实场景使用过程中需要大规模高质数据的支撑。从教育应用角度考虑，以上四种主流模型在范文智能检索任务上均有良好的效果：在范文质量高要求、性能好的场合使用 Sentence-BERT，在资源充分和计算能力够强的地方，可以给老师、学生用到更好的范文；BM25 与 Elasticsearch 在操作简单、快速响应以及不需要太多的硬件资源方面具有较强的优势，特别适用于大规模的教学类检索，日常检索或者基础的写作类任务都可使用此方法；Word2Vec 可以兼顾一定的语义能力，是满足相应资源限制条件下的权衡方案。根据平台的算力资源、应用需求以及开发周期的长短等实际情况来选择相应的模型配置，以达到最理想的性价比，满足应用程序效果和速度并存的目标。本研究证明了神经网络模型对比其他模型具有更好的在英语写作智能检索领域中的优越性，并对不同教育场景下的模型选用以及写作辅助系统优化提供了有益尝试，后期将进行多模型融合以及系统集成尝试来推动英语写作教学的信息化及智能化的发展。
（二）局限性
尽管研究系统比较了多种信息检索模型对于英语写作范文检索的效果，但依然存在一定的局限性：其一，现有所使用的雅思数据集涉及的主题范围分布不均、长尾明显，在实际的数据应用过程中可能会使得基于现有的模型预测的能力偏向于容易被模型接受的重点题材，但是对于一些冷门或者交叉的话题，范文的检索准确度会相对弱一些；其二，现在的相关性评判仅仅是依靠标签一致性来进行判定，并没有体现出作文的真实性、话题性以及语义多样性，目前尚无权威的标准，更遑论使用一致性标签的形式进行代表取舍；在建模中主要使用了相关度 MAP 和 NDCG 评价，但在有少量相关范文和不同的文章长度的情况下，不能完全量化出此模型效果；在算法优化方面，兼顾算法优化和模型效果的提升、写作质量和教学应用场景都是需要继续研究的方向；在参数敏感性分析的样本量上受限。
（三）未来展望
本研究验证了主流信息检索模型在英语写作范文检索中的有效性，但是针对本课题未来还可以从以下角度进行研究：第一，增大语料的量，扩大语料来源；第二，在所选模型的基础上，继续结合其他模型，探究多模型融合的方法来提高模型对于复杂语义、多种多样表达的检索效果；第三，系统地考察词形还原、词干提取、停用词处理等文本预处理方法对于模型性能的影响；最后，加入用户的使用习惯和喜好因素，使系统能更好地融入到真正的教学使用场景中，对系统进行反馈优化，并利用其数据资源进行功能扩展。随着人工智能和自然语言处理等技术的发展，范文检索系统也会逐渐赋能于英语写作教学。
原文链接: https://aiedchair.bnu.edu.cn/news-citlab-2247627484-1-zh/
