Четыре метода поиска образцов эссе на английском

Поиск образцов аргументативных эссе на английском с помощью ИИ: сравнение четырёх моделей

Guo Shiyi, Zhu Tianning, Bie Zini, Hu Jiawen  

Уппсальский университет (Швеция)  

Аннотация:В данном примере используются данные из английских эссе. Была разработана система поиска примеров английских эссе, основанная на искусственном интеллекте и обработке естественного языка. В систему включены четыре основных модели: BM25, Word2Vec, Sentence-BERT и Elasticsearch. Также создана простая пользовательская интерфейс для отображения функций системы. В экспериментальных условиях сравнивались характеристики каждой модели в отношении связи с примерами текста и способности их сортировки. Результаты показали, что все четыре модели могут выполнять задачу поиска примеров английских эссе. Однако модель Sentence-BERT, основанная на технологии Transformer, показала наилучшие результаты в определении схожести смысла и поиске данных. Традиционные модели, такие как BM25 и Elasticsearch, также имеют практическую ценность в ситуациях ограниченных ресурсов или когда необходимо искать информацию по ключевым словам. Система может гибко выбирать модель в зависимости от потребностей обучения и ресурсов платформы. Этот пример может служить основой для разработки и использования интеллектуальных инструментов поиска для преподавания английского языка.

Ключевые слова:Искусственный интеллект; Модели поиска информации; Обучение написанию на английском языке

В процессе обучения и преподавания английской письменной речи важную роль играют примеры текстов. Традиционные методы поиска ключевых слов и ручной отбор текстов имеют серьезные ограничения в отношении релевантности и эффективности, что затрудняет удовлетворение потребностей в обучении на большом и индивидуальном уровне. В настоящее время используются традиционные методы поиска ключевых слов или ручной отбор текстов. У этих методов есть свои недостатки: с одной стороны, поиск ключевых слов не учитывает все детали, которые ученики обращают внимание в реальных условиях; с другой стороны, ручной отбор происходит медленно, и при использовании десятков или даже сотен текстов процедура становится очень сложной и неэффективной. С развитием ИИ и NLP можно использовать модели поиска информации, основанные на глубоком обучении и семантическом понимании, чтобы значительно повысить точность и интеллектуальность рекомендаций текстов. Необходимо исследовать, как использовать эти новые технологии для получения высокоточных и интеллектуальных рекомендаций текстов. В данном проекте собрано около 2000 текстов для обучения английской письменной речи, с целью создания системы рекомендаций текстов, которая будет обеспечивать эффективное и интеллектуальное рекомендарование текстов. В системе используются модели поиска BM25, Word2Vec, Sentence-BERT и Elasticsearch. Система анализирует различные характеристики этих моделей в отношении точности и способности сортировки текстов. Результаты экспериментов показывают, что модель Sentence-BERT, основанная на Transformer, превосходит другие модели в отношении семантической схожести и точности поиска, и имеет большую пригодность для семантического понимания и индивидуальных рекомендаций. BM25 и Elasticsearch, хотя и являются традиционными методами, имеют преимущества в таких аспектах, как совпадение ключевых слов и скорость поиска. Они подходят для использования в ситуациях, когда ресурсы ограничены или необходимо проводить масштабные поисковые операции. Модель Word2Vec, в свою очередь, имеет ограниченные возможности при ограниченных объемах данных. Но как компромиссный подход, учитывающий как эффективность, так и базовые семантические возможности, она все же имеет определенную ценность. В целом, все четыре модели могут использоваться для выполнения задач по поиску образцов текстов на английском языке в различных условиях ресурсов и требований. Выбор модели должен осуществляться в зависимости от конкретных потребностей задачи, а также от особенностей и условий использования данной модели.  

I. Реальные потребности в поиске примеров написания текстов на английском языке и системные инновации  

1. Проблемы и потребности в поиске примеров текстов для изучения письма на английском языке  

В процессе обучения письму на английском языке использование высококачественных примеров текстов способствует повышению уровня письма учащихся. Это особенно важно для сочинений, необходимых для академических экзаменов, а также для сочинений, связанных с выполнением определенных заданий. Однако в настоящее время большинство учителей и студентов используют методы поиска примеров текстов с помощью ключевых слов или ручного отбора. Такой метод очень неэффективен, а полученные результаты не всегда точны. Кроме того, он не может удовлетворить потребности в большом количестве учебных заданий и индивидуальные потребности студентов. С одной стороны, традиционные методы поиска ограничены низкой точностью соответствия слов, что мешает точному пониманию смысловых связей. С другой стороны, с увеличением количества тем и тематик в учебных задачах по письму, становится необходимым автоматизированный и интеллектуальный поиск примеров текстов. С развитием искусственного интеллекта и обработки естественного языка появляются новые возможности для поиска примеров текстов на английском языке. Модели поиска информации на основе глубокого понимания смыслов могут обеспечить более точное и индивидуальное предложение примеров текстов, что способствует высококачественному развитию обучения письму на английском языке.  

(II) Сочетание технологий поиска информации и инноваций в преподавании языка  

С развитием технологий искусственного интеллекта, модели поиска информации в области обучения языку становятся более эффективными. В традиционных методах обучения английскому письму поиск образцов текстов основан на ключевых словах или ручном процессе, что приводит к низкой эффективности и неполном пониманию смысла. Эти проблемы можно решить с помощью технологий поиска информации. BM25 – классическая модель поиска по вероятности ключевых слов – использует частоту слов и длину документов для обеспечения высокой эффективности и стабильности в работе с большими объемами данных. С развитием смыслового подхода модели векторов слов, такие как Word2Vec, FastText, GloVe, позволяют преобразовать слова в векторы и определять смысловые связи в контексте. Это способствует использованию синонимов и сопоставлению в контексте обучения. В настоящее время в научных исследованиях используется модель Sentence-BERT, основанная на архитектуре Transformer, для глубокого понимания смысла предложений. С помощью высококачественных векторов смысла можно точно сопоставлять структуру, логику и тезисы текстов, что улучшает качество рекомендаций для обучения. В области образования и технологий уже проведены исследования по использованию искусственного интеллекта и технологий поиска информации в процессе обучения письму. Указано, что использование инструментов искусственного интеллекта для поиска текстов и рекомендаций образцов текстов может способствовать более эффективному обучению вторичных языков. На основе множества экспериментов с моделями языка Yang, Zhang и Lin (2019) пришли к выводу, что использование модели BERT для поиска смысла эффективнее, чем традиционные методы поиска по ключевым словам. Использование технологий образования для поиска смысла в текстах является возможным. Алвес Перейра, Комарлу и Мобейрек (2023) проанализировали использование различных инструментов для создания текстов с помощью ИИ с точки зрения поиска информации. Они обнаружили, что улучшение качества поиска информации не только повышает участие пользователей в создании текстов, но и способствует расширению разнообразия точек зрения в создаваемых текстах. Эти исследования показывают, что использование ИИ в процессе создания учебных материалов постепенно переходит от простого соответствия ключевых слов и ручного выбора к технологиям глубокого понимания смысла. Кроме того, использование технологий поиска информации в процессе обучения языка соответствует тенденциям развития компьютерно-помогаемого обучения языка (CALL). Это можно рассматривать как форму обучения, основанного на данных (Data-Driven Learning, DDL). Эта концепция была предложена Джонсом (1991), который подчеркивал важность активного поиска языковых закономерностей через использование корпусов текстов, что позволяет лучше освоить языковые навыки. Кроме того, этот подход соответствует тенденциям развития компьютерно-помогаемого обучения языка (ICALL). Например, Амарал и Мюлерс (2011) отмечают, что системы ICALL используют технологии обработки естественного языка, чтобы предоставлять практику языка с помощью ИИ, а также использовать данные обучения студентов для предоставления индивидуальных рекомендаций, что способствует повышению автономности студентов и улучшению общего учебного опыта.  

(3) Описание и демонстрация системы поиска  

В ответ на вышеупомянутые проблемы в преподавании английского письма, такие как низкая эффективность поиска примеров текста и неадекватная связность результатов поиска, на основе вышеупомянутых исследований была разработана интеллектуальная система поиска, основанная на базе корпуса текстов для экзамена IELTS. Для решения этих проблем использовались модели поиска BM25, Word2Vec, Sentence-BERT и Elasticsearch. Система включает несколько уровней технологий: от поиска по частоте слов до расчета смысла слововых векторов, до глубокого понимания смысла текста. Таким образом, была создана система поиска, объединяющая несколько моделей. Кроме того, на одной панели управления можно выбирать разные модели поиска, интуитивно сравнивать результаты разных алгоритмов и систематически оценивать их. Это позволяет определить наиболее подходящую ситуацию для преподавания. Кроме того, для улучшения пользовательского опыта был создан легкий графический интерфейс с использованием PySide6. После запуска программы, в зависимости от вводов пользователя, используются различные модели для расчета сходства, и в конце получается результаты сортировки. Панель предоставляет возможность просмотра полного текста, что удобно для преподавания и исследований. Это также создает основу для различных вспомогательных функций в будущем.  

II. Сравнительные эксперименты и методы оценки в моделях поиска текстов на основе традиционных методов поиска  

(1) Проблемы исследования  

Это исследование направлено на проверку целесообразности использования методов поиска информации в процессе поиска образцов текстов на английском языке, а также на определение их практической ценности. Также предпринимается попытка изучить эффективность использования различных методов поиска информации, таких как BM25, Word2Vec, Sentence-BERT и Elasticsearch, в процессе поиска образцов текстов. Затем с помощью экспериментов сравниваются эти традиционные методы поиска и модели нейронных сетей, а также современные коммерческие поисковые системы. В конце исследования анализируются преимущества и недостатки использования этих методов в образовательной практике, а также даются рекомендации по использованию различных моделей в реальной преподавательской деятельности по английскому языку.  

(2) Описание набора данных  

Данная база данных, используемая в исследовании, под названием “IELTS-writing-task-2-evaluation”, поступила с открытой платформы HuggingFace. В ней содержится более 9 тысяч статей на тему Task 2 экзамена IELTS, написанных реальными участниками экзаменов. Каждая статья имеет соответствующую оценку и задание для написания. Темы статьей включают образование, технологии и окружающую среду. Поскольку цель исследования заключается в изучении способности различных моделей поиска информации в работе по поиску образцов текстов на английском языке, а не в оценке уровня английской письменности, были использованы задания для написания и самыми статьями из этой базы данных для создания модели для сбора данных и последующего сравнительного анализа. Метрики оценки не применялись.  

(3) Описание модели и метод расчета сходства  

Четыре модели поиска информации, используемые в данной статье, включают: традиционную модель BM25, основанную на частотах слов, модель Word2Vec, которая активно используется в настоящее время, модель нейронной сети Transformer Sentence-BERT, предназначенная для глубокого анализа смысла предложений, а также широко используемый промышленный поисковик Elasticsearch.  

BM25 (Best Matching 25) – это классическая модель поиска совпадений слов. Ее были предложены Робертсон и Уокер. Спрощенная версия этой модели широко используется в различных системах поиска информации, таких как Elasticsearch, Lucene и т. д. BM25 использует нелинейные функции частоты слов и нормализацию длины документов, чтобы компенсировать проблему, возникающую из-за чрезмерной частоты слов или слишком длинных документов. Однако это все же метод глубокого совпадения слов, который не позволяет получить больше информации на уровне смысла и контекста. В данном эксперименте мы используем модель BM25Okapi из библиотеки rank_bm25, чтобы реализовать модель BM25 и вызвать ее функцию оценки. Как уже сказано, BM25 учитывает частоту слов, длину документов, а также распределение слов в тексте, чтобы оценить степень соответствия запроса и документа.  

Word2Vec – это модель введения слов, выпущенная компанией Google в 2013 году. Эта модель основана на идее J.R. Firthа о том, что значение слова зависит от контекста. Слова отображаются в пространстве векторов слов; слова с ближайшим смыслом имеют ближайшую дистанцию в этом пространстве. Таким образом можно рассчитать смысловые связи между словами. В данном исследовании используется библиотека Gensim для реализации этой методики. Слова сортируются и находятся в списке согласно косинусу сходства. Хотя Word2Vec способен выявлять поверхностные смысловые связи, поскольку он основан на векторах слов в локальном контексте, он не может отразить многословные значения и глубокие смыслы слов. Сначала с помощью Numpy получаются средние векторы слов для запросов и каждого текста, а затем слова сортируются по убывшему косинусу сходства, что позволяет осуществлять поиск на основе смысла.  

Sentence-BERT (SBERT) представляет собой улучшенную версию классической модели BERT. Благодаря использованию архитектуры сетей Siamese и Triplet, SBERT способен эффективно создавать семантические представления предложений и рассчитывать степень сходства между ними. SBERT поддерживает несколько методов объединения элементов текста: CLS-токен, среднее объединение и максимальное объединение. В данном исследовании мы используем предобученную модель paraphrase-MiniLM-L6-v2, предоставленную HuggingFace, а также библиотеку sentence-transformers для получения векторов предложений. Длина векторов предложений, созданных этой моделью, составляет 384 единицы; это позволяет использовать их для задач поиска семантических связей без необходимости дополнительной трансформации. В отношении механизма оценки, подобно Word2Vec, SBERT использует косинусное сходство для определения семантического сходства между предложениями или текстами. Более высокий рейтинг означает более сильную семантическую связь.  

Elasticsearch – это распределенный, простой и гибкий поисковый и аналитический инструмент, разработанный на основе Apache Lucene. Его можно легко настроить для работы в кластерах из множества узлов, а также можно быстро обрабатывать различные типы запросов. В данной статье используется версия Elasticsearch v8.7 для проектирования и разработки. Система хранения основана на сочетании индексов и документов в формате JSON. Управление узлами осуществляется автоматически, что обеспечивает точность данных. Кроме того, тексты, их фрагменты и элементы слов, хранятся вместе, что способствует более высокой корреляции результатов поиска. Параметры BM25 (k_1=1.5, b=0.8) используются для оптимизации поиска по различным длинам текстов. В статье также рассматривается механизм оценки корреляции документов в Elasticsearch как модель BM25 с изменениями. Оценка корреляции осуществляется с использованием алгоритма BM25, при этом только детали вычисления idf и другие аспекты реализации принимаются из официальных рекомендаций.  

(4) Методы и критерии оценки экспериментов  

В системах поиска информации часто используется понятие K – количество результатов, которые возвращаются пользователю после каждого поиска (Top-K). Это значение определяет диапазон просмотра, который может выполнять пользователь. Оно является важным параметром для оценки качества систем поиска (Precision@K, Recall@K, NDCG@K и т. д.). Чтобы более точно оценить реальные характеристики системы поиска, в данном исследовании были введены два метода оценки: статическое K и динамическое K. Статическое K устанавливается как фиксированное значение (например, K=10 или K=20), что позволяет имитировать ситуацию, когда студент или учитель просматривают только первые две страницы результатов поиска. Это помогает оценить, может ли модель захватить больше документов с высокой степенью связи при ограниченном времени просмотра. Установление этого параметра отражает реальные привычки пользователей. Из экспериментов с пользователями видно, что в процессе поиска большинство пользователей читают только первые 10–20 результатов. В таких случаях наиболее разумно оценивать модель Top-K. Что касается динамического K, то его устанавливается как отклонение от реального количества связанных документов в каждом поиске. K может быть 0,8, 1,0, 1,2, 1,4 или 1,6 разово от реального количества связанных документов (называется K_ratio). Это предотвращает проблему неравенства в оценке из-за чрезмерно большого или маленького значения K. На основе этого можно сравнить различные модели для разных масштабов или сложностей поиска, а также измерить динамику процентов правильных и правильно найденных документов.  

Чтобы более точно оценить преимущества и недостатки различных моделей поиска в примерах текстов на английском языке, мы использовали множество основных критериев оценки поиска информации. Коэффициент точности (Precision) показывает долю соответствующих документов среди K результатов поиска, возвращенных системой. Это отражает эффективность системы в получении качественных документов. Коэффициент выявления (Recall) показывает долю соответствующих документов, успешно найденных системой. Оценка F1 — это среднее значение коэффициентов точности и выявления, что отражает общую стабильность системы в поиске документов. Средняя точность (Mean Average Precision, MAP@K) показывает качество сортировки документов для всех запросов. Для одного запроса сначала вычисляется коэффициент точности для каждого соответствующего документа, затем вычисляется среднее значение, а потом — среднее значение для всех запросов. Нормализованный коэффициент увеличения качества (NDCG@K) показывает, насколько самые важные документы находятся в первой позиции, что соответствует ожиданиям пользователей.  

(5) Процедура эксперимента  

Чтобы полноценно оценить пригодность и эффективность различных моделей поиска информации в задаче поиска примеров текстов на английском языке, в данном исследовании была разработана следующая процедура эксперимента:  

Подготовка данных эксперимента: Данные для задания 2 в экзамене IELTS были загружены с HuggingFace. Было выбрано первые две тысячи записей, а также проведена необходимая обработка текста. Затем были применены стандартные процедуры обработки текста: разбиение на слова, удаление неактивных слов и знаков препинания.  

Интеграция экспериментальных моделей: были интегрированы модели поиска BM25 из библиотеки rank-bm25, модель Word2Vec-Cosine, основанная на технологиях Gensim и sklearn, модель Sentence-BERT, основанная на предварительно обученных моделях из библиотеки sentence-transformers, а также модель поиска Elasticsearch, основанная на интерфейсе elasticsearch-py и заднике индекса. Поскольку принципы работы этих четырех моделей различаются, для удобства сравнения их производительности была разработана модель случайного поиска (RandomIR). При этом каждый раз, когда запрашивается информация о файлах, получается список из K файлов, выбранных случайным образом, без учета какой-либо связи между запросом и файлом. Все модели написаны на языке Python. Кроме того, все они имеют функции, такие как мультимодельный поиск, отображение результатов в определенном порядке, что позволяет легко и быстро менять способ поиска.  

3. Настройка и подготовка задач поиска: в эксперименте используются задания для написания текстов в качестве входных данных для поиска. Это позволяет имитировать ситуацию реального поиска пользователями. Чтобы уменьшить влияние ошибок, вызванных использованием одного значения groundtruth, разработано 5 различных запросов. Количество статей соответствующих этим запросам составляет 200, 112, 63, 22 и 397 статьй. Эти значения распределены по ступенчатой шкале, а затем случайным образом разделены на две группы: 80% данных для обучения и 20% для теста. Наконец, для обеспечения достоверности результатов эксперимента проводится сравнение производительности поиска с двумя разными значениями groundtruth. Это позволяет лучше оценить влияние размера данных на эффективность поиска.  

4. Сравнение различных моделей и представление результатов: Все модели были проверены на единой платформе и в едином наборе данных. Детальные результаты поиска были представлены при различных критериях оценки и значениях K. Соответствующие диаграммы были созданы для удобства сопоставления и комплексного анализа.  

III. Результаты экспериментов, анализ и обсуждение  

1) Результаты экспериментов с динамическим K и анализ  

При значении k_ratio=1, то есть когда K равен количеству реальных меток каждого запроса, средние значения MAP (Mean Average Precision) для пяти моделей на пяти группах запросов показывают значительные различия. RandomIR, как случайная база для сравнения, имеет значение MAP равное 0,01, что означает, что результаты поиска почти не связаны с порядком документов. Средний значение MAP для Word2VecIR составляет 0,64, что значительно хуже, чем у других основных моделей. BM25IR и Elasticsearch имеют среднее значение MAP равное 0,86, что указывает на надежность и стабильность модели, основанной на совпадении слов и использовании индустриального поисковика. Модель Sentence-BERT показывает лучшие результаты: среднее значение MAP составляет 0,91, что значительно лучше, чем у других методов. Это свидетельствует о ее преимуществах в понимании синтаксической структуры и порядке документов. В целом, модель Sentence-BERT имеет большее преимущество в порядке документов при поиске текстов на английском языке, в то время как BM25 и Elasticsearch обеспечивают стабильные результаты поиска. Word2Vec имеет определенные ограничения при работе с небольшим объемом данных.  

Помимо RandomIR, значения nDCG для всех остальных моделей при различных значениях k_ratio были высокими и стабильными. Это показывает, что основные модели поиска все же способны располагать большинство соответствующих документов в начале результатов поиска, даже при изменении количества кандидатов. Особенно это заметно при k_ratio=0.8: значения nDCG для BM25IR, Elasticsearch и Sentence-BERT были приблизены к 1, что свидетельствует о высокой точности сортировки и удовлетворительном опыте пользователя. Дальнейший анализ показывает, что nDCG для Sentence-BERT всегда находится на первом месте, при этом колебания значений сильно минимальны при изменении k_ratio. Это подтверждает высокую надежность моделей глубокого смысла в поиске текстов. BM25IR и Elasticsearch также сохраняли значение выше 0.95, что свидетельствует о стабильности и надежности результатов. Word2VecIR, в целом, оказался ниже, чем эти три модели, но имел значительное улучшение по сравнению с методом случайности (RandomIR, nDCG составлял около 0.05–0.1), что подтверждает преимущества основных моделей в сортировке документов.  

У разных моделей поиска значения F1-скоринги слегка колеблется. Однако при значении k_ratio равном 1 точность и коэффициент найдения у всех моделей являются наилучшими, а значение F1-скоринги достигает максимума. Очевидно, что модель Sentence-BERT имеет самый высокий F1-скоринги – почти 0,9, что в несколько раз выше, чем у других моделей. Следовательно, эта модель обладает хорошими показателями в поиске текстов. При увеличении значения k_ratio большинство моделей показывают снижение F1-скоринги: BM25IR и Elasticsearch снизились с 0,86 до примерно 0,7, но Word2VecIR остается на низком уровне, не превышая 0,7. Модель RandomIR всегда имеет очень низкий F1-скоринги; она используется лишь в качестве базового уровня для оценки. Таким образом, более подходящее значение k_ratio (например, k_ratio=1) позволяет более точно оценить эффективность модели поиска, не приводя к снижению точности поиска из-за увеличения количества найденных записей.  

С увеличением значения k_ratio точность каждой модели (Precision) снижается, в то время как коэффициент обнаружения (Recall) увеличивается. Это отражает естественную взаимосвязь между этими двумя параметрами в задаче поиска информации. Особенно заметно, что модель Sentence-BERT всегда остается лидером при различных значениях k_ratio: при k_ratio=0.8 точность составляет 0.98, а при k_ratio=1.6 коэффициент обнаружения достигает 0.93. Эта тенденция также соответствует результатам F1-скоринги, что указывает на значительные преимущества этой модели в балансе между точностью и полнотой обнаружения.  

Помимо сравнения результатов сортировки, полученных различными моделями, мы также показали кривые PR и значения AUC для всех моделей. Кривая PR показывает, какова доля документов, связанных с данными, для каждой модели при различных значениях уровня выявления, то есть при разных порогах поиска. Кроме того, был рассчитан AUC для каждой модели, что отражает общую способность модели поиска. Чем выше значение AUC, тем лучше модель может находить документы с высокой степенью связи и сохранять высокий уровень точности поиска. Наоборот, если в какой-либо момент невозможно найти документы с высокой степенью связи, то поиск в этом случае оказывается неэффективным. Лучшим является состояние, когда в любом моменте модель может найти документы с высокой степенью связи и сохранять высокий уровень точности поиска. Из результатов видно, что значение AUC для Sentence-BERT самое высокое – 0,14. Модель показывает отличные результаты поиска при всех значениях порогов, в то время как AUC для модели RandomIR составляет всего 0,004, что значительно ниже, чем у других основных моделей.  

(2) Результаты экспериментов с статическим K и анализ  

Статическая оценка K-масштаба заключается в использовании значений K=10 и K=20 для оценки производительности различных моделей в процессе поиска текстов, имитирующих реальные тексты пользователей. Также сравнивались результаты работы разных моделей в условиях имитации поиска текстов реальных пользователей. В результате три основные модели – BM25IR, Sentence-BERT и Elasticsearch – показали значение 1.00 по показателям Precision@10 и nDCG@10. Это указывает на хорошую способность этих моделей выявлять все соответствующие тексты при 10 успешных попаданиях. По показателям Word2VecIR также были получены хорошие результаты (Precision@10 – 0.88, nDCG@10 – 0.89). У RandomIR показатели были на самом низком уровне.  

Когда порог значения K достигает 20, модели BM25IR, Sentence-BERT и Elasticsearch все же сохраняют высокую эффективность поиска (Precision@20 составляет 0,97–1,00, nDCG@20 – 0,98–1,00), при этом только немного снижается эффективность по сравнению с K=10. Значения MAP@20 у всех моделей увеличиваются (BM25IR – 0,30, Sentence-BERT – 0,31, Elasticsearch – 0,29), но в целом они все равно значительно ниже, чем Precision и nDCG. Это связано с тем, что в некоторых случаях количество соответствующих текстов значительно превышает значение K, что приводит к тому, что даже если все результаты поиска соответствуют критерию, значение MAP все равно ниже из-за того, что общий количество соответствующих документов используется в расчете. У Word2VecIR значения всех показателей снижаются ещё больше при K=20 (Precision@20 – 0,86, nDCG@20 – 0,87, MAP@20 – 0,16), а RandomIR всегда показывает очень плохие результаты. Стоит отметить, что даже если значения Precision и nDCG приближены к идеальным, значение MAP все равно значительно ниже из-за статического значения K и распределения соответствий. Это показывает, что если количество соответствующих текстов значительно превышает порог K, то только тогда MAP будет приближен к 1, как и Precision и nDCG. В целом, BM25IR, Sentence-BERT и Elasticsearch демонстрируют высокую стабильность и способность сортировки при поиске текстов на основе тем. У Word2Vec, в то же время, эффективность в отношении показателей, связанных с ранжированием, ухудшается с увеличением значения K. Эти различия подтверждают эффективность сложных стратегий поиска при поиске текстов в академических статьях.  

(3) Обсуждение результатов экспериментов  

В данном исследовании использовались два метода оценки: динамический K и статический K. Было проведено сравнение результатов различных моделей в задаче поиска примеров текстов на английском языке. Результаты экспериментов показали, что модель Sentence-BERT превосходит другие модели по большинству показателей: как по MAP, nDCG, так и по F1. Модель может стабильно располагать документы с высокой корреляцией в первой десятке результатов, а также демонстрирует высокую надежность при различных значениях порогов. BM25 и Elasticsearch имеют преимущества в области совместимости с традиционными ключевыми словами и эффективности поиска. Однако при ограниченных ресурсах вычислений, они все еще сохраняют высокую точность поиска. Word2Vec ограничен по размеру данных для обучения и способности обрабатывать многозначность, поэтому в текущих условиях эксперимента его эффективность снижается. При оценке с использованием динамического K было обнаружено, что изменение значения K позволяет более полно оценить баланс между точностью и полнотой поиска. Результаты экспериментов также показывают, что разумное установление значения динамического K способствует более точной оценке системы. При оценке с использованием статического K, для более точного соответствия реальным ситуациям пользователей, значение K установлено в 10 и 20, и были изучены результаты различных моделей. BM25IR, Sentence-BERT и Elasticsearch имеют значение Precision@K и nDCG@K, равное 1.0, и могут стабильно располагать документы с высокой корреляцией в первой десятке результатов. С увеличением значения K показатели MAP и другие показатели, связанные с рейтингом, значительно улучшаются, но из-за большого количества документов, связанных с запросами, MAP все равно ниже, чем Precision и nDCG. Word2Vec оказался менее эффективным в этой оценке, что указывает на его слабость в отношении данных для обучения и проблем с семантической неоднозначностью. В целом, это показывает, что в повседневных учебных ситуациях или в реальных условиях, где требования к точности поиска не очень высоки, основные модели поиска могут обеспечить достаточно хорошие результаты поиска. В практическом применении можно выбирать различные модели в зависимости от конкретных потребностей и ресурсов системы.  

Синтакс-БЕРТ демонстрирует выдающуюся способность понимания глубокой семантики, способен точно улавливать смысл в сложных текстах и обеспечивать эффективный поиск. Реймерс и Гуревич (2019) указали, что при генерации высококачественных векторов предложений он может значительно сократить время отклика при масштабном поиске семантики. Такие характеристики делают его очень подходящим для задач обучения, требующих высокого понимания семантики, таких как персонализированные рекомендации, помощь в интеллектуальном письме и предоставление высококачественных примеров текста, но также увеличивают потребность в вычислительных ресурсах, что делает его подходящим для развертывания в условиях лучших аппаратных условий. Традиционные поисковые модели, такие как BM25 и Elasticsearch, благодаря стабильной способности соответствия ключевых слов и низкому расходу ресурсов, по-прежнему имеют широкое применение в образовательных системах. В бенчмарке BEIR BM25, как базовая модель поиска без образцов, показывает лучшие результаты в задачах поиска документов в разных областях, чем большинство моделей поиска с редкими и плотными данными, что подтверждает его практичность и стабильность. Следовательно, в сценариях, где требуется высокая эффективность и стабильность системы, таких как индексы названий курсов, определение ключевых слов учебников или быстрый поиск учебных ресурсов, BM25/Elasticsearch могут быть более подходящим выбором. Word2Vec может эффективно измерять семантическую схожесть слов, теоретически имеет потенциал расширения разнообразия выражений, и подходит для вспомогательных задач, таких как автоматическое редактирование. Однако исследования показывают, что при ограниченном объеме данных для обучения или сложном контексте образуются некачественные векторы слов, что приводит к неточности смысла и проблемам фальшивой схожести (например, путаница в значении слова «bank» в разных контекстах или неправильное распознавание «cat» и «chair»). Поэтому Word2Vec более подходит в системах обучения письма в качестве вспомогательного инструмента, и его следует использовать осторожно в сочетании с большим объемом качественных данных и специфическими требованиями задачи. В целом, три модели имеют разные задачи: Sentence-BERT подходит для глубокого понимания смысла и интеллектуального рекомендаций; BM25/Elasticsearch удовлетворяют основные требования по поиску ключевых слов и эффективности; Word2Vec может служить дополнительным инструментом для задач, связанных с разнообразием выражений.  

4. Обобщение примеров  

1) Вывыки исследований  

В настоящее время большинство современных методов работы выбирают только один из технических подходов для сравнения их эффективности. В данной статье, используя такие популярные модели поиска информации, как BM25, Word2Vec, Sentence-BERT и Elasticsearch, проводится комплексный анализ различных технических подходов в задаче поиска образцов текстов на английском языке. Исследования показали, что модель Sentence-BERT с архитектурой Transformer имеет лучшие результаты по всем критериям; она более точно отражает глубокие семантические связи между документами. Она также обеспечивает высокую стабильность при различных типах запросов. С другой стороны, традиционные методы, основанные на ключевых словах/индексе отрицательных индексов, такие как BM25 и Elasticsearch, имеют высокую производительность и стабильность при ограниченном количестве вычислительных ресурсов или при использовании ключевых слов для поиска. Однако эти методы не могут обеспечить поиск на семантическом уровне, а также не способствуют выполнению задач написания текстов при недостатке данных для обучения. Кроме того, модель Word2Vec, которая использует векторы слов, требует большого количества данных для обучения. В данном эксперименте, из-за ограниченного объема данных, Word2Vec не может эффективно распознавать многозначные слова и сложные семантические связи, что подчеркивает необходимость использования больших объемов качественных данных для использования таких моделей в реальных условиях. С точки зрения образовательных приложений, все четыре основные модели имеют хорошие результаты в задаче интеллектуального поиска образцов текстов: при высоком качестве образцов текстов и хорошей производительности можно использовать Sentence-BERT; при достаточных ресурсах и высокой вычислительной способности можно использовать эти модели для обучения учителей и студентов. BM25 и Elasticsearch имеют значительные преимущества в отношении простоты использования, быстрой реакции и не требования к большому количеству аппаратных ресурсов. Этот метод особенно подходит для масштабных поисковых операций в области обучения, а также для повседневных поисковых задач или базовых задач написания текстов. Word2Vec обеспечивает определенные возможности семантического поиска, что является подходом, соответствующим ограничениям ресурсов. Необходимо выбирать соответствующую конфигурацию модели в зависимости от ресурсов платформы, потребностей приложения и длительности процесса разработки, чтобы достичь оптимального соотношения цен и качества, а также обеспечить эффективность и скорость работы приложения. Исследование показало, что сетевые нейронные модели имеют преимущество перед другими моделями в области интеллектуального поиска текстов на английском языке. Также были предложены полезные подходы к выбору моделей для различных образовательных ситуаций и оптимизации систем помощи в написании текстов. В будущем будут проведены эксперименты по сочетанию различных моделей и интеграции систем, чтобы способствовать информатизации и интеллектуализации процессов обучения написания текстов на английском языке.  

(2) Ограниченность  

Хотя в исследовании сравнивались различные модели поиска информации для поиска образцов текстов на английском языке, все же существуют определенные ограничения: во-первых, используемые данные для обучения моделей включают темы, распределение которых неравномерно, а доля редких тем значительна. В практическом применении данных возможно, что способность моделей предсказывать информацию будет ориентироваться на те темы, которые легче поддаются моделированию. Однако для редких или смежных тем точность поиска текстов будет ниже. Во-вторых, текущая оценка релевантности основана лишь на соответствии меток, что не учитывает подлинность текста, тематику и разнообразие смыслов. Не существует стандартов для оценки, а тем более формы использования меток для выбора текстов. В моделировании используются метрики MAP и NDCG, но при наличии небольшого количества релевантных текстов и различной длины статей, эффективность этих моделей не может быть полностью измерена. В области оптимизации алгоритмов необходимо продолжать исследования, чтобы улучшить качество моделей и их применение в образовательных ситуациях. Кроме того, количество выборок для анализа чувствительности параметров ограничено.  

(3) Перспективы на будущее  

В данном исследовании было подтверждено эффективность основных моделей поиска информации в поиске образцов текстов на английском языке, но в будущем можно продолжить исследования с следующих аспектов: во-первых, увеличить количество данных и расширить источники данных; во-вторых, на основе выбранных моделей дополнительно использовать другие модели, исследуя методы слияния моделей для улучшения эффективности поиска сложных смыслов и разнообразных выражений; в-третьих, систематически изучить влияние методов предварительной обработки текста, таких как восстановление формы слова, извлечение корневых слов, обработка слов, не используемых в тексте, на производительность модели; в конце концов, учесть привычки и предпочтения пользователей, чтобы система лучше интегрировалась в реальные сценарии обучения, оптимизировать систему с помощью обратной связи и использовать ее данные для расширения функций. С развитием технологий искусственного интеллекта и обработки естественного языка, система поиска образцов текстов на английском языке также будет постепенно обеспечивать более эффективное обучение на английском языке.