Cuatro métodos para buscar modelos de ensayos en inglés

Búsqueda de modelos de ensayo argumentativo en inglés con IA: comparación de cuatro modelos

Guo Shiyi, Zhu Tianning, Bie Zini, Hu Jiawen  

Universidad de Uppsala (Suecia)  

Resumen:Este caso se basa en datos de ensayos argumentativos en inglés. Se desarrolló un sistema para buscar ejemplos de ensayos argumentativos en inglés, basado en inteligencia artificial y procesamiento del lenguaje natural. El sistema integra cuatro modelos principales: BM25, Word2Vec, Sentence-BERT y Elasticsearch. Además, se creó una interfaz de usuario sencilla para mostrar las funciones del sistema. En los experimentos, se compararon las capacidades de cada modelo en términos de relevancia con los ejemplos y su capacidad de ordenamiento. Los resultados indican que los cuatro modelos son capaces de realizar la tarea de búsqueda de ejemplos de escritura en inglés. Sin embargo, el modelo Sentence-BERT, basado en Transformers, se destaca por su precisión en la identificación y búsqueda de similitudes semánticas. Los modelos tradicionales como BM25 y Elasticsearch también son útiles en situaciones donde hay limitaciones de recursos o cuando se prioriza la búsqueda de palabras clave. El sistema puede elegir el modelo adecuado según las necesidades educativas y los recursos disponibles. Este caso proporciona referencias para el desarrollo y uso de herramientas de búsqueda de enseñanza de inglés inteligente.

Palabras clave:Inteligencia artificial; modelos de búsqueda de información; enseñanza de la escritura en inglés

En el proceso de enseñanza y aprendizaje de la escritura en inglés, los ejemplos de texto son recursos muy importantes. Los métodos tradicionales de búsqueda de palabras clave y selección manual presentan limitaciones significativas en términos de relevancia y eficiencia, por lo que son difíciles de utilizar para satisfacer las necesidades de enseñanza a gran escala y personalizada. Actualmente, se utiliza este método de búsqueda de palabras clave o selección manual para seleccionar ejemplos de texto. Ambos métodos tienen problemas inevitables: por un lado, la búsqueda de palabras clave no puede tener en cuenta todos los detalles importantes que los estudiantes consideran en el entorno real; por otro lado, la selección manual es lenta, y cuando se trata de decenas o incluso cientos de textos, el proceso se vuelve muy complejo y ineficiente. Con el desarrollo de la IA y el NLP, es posible mejorar significativamente la precisión y la inteligencia en la búsqueda de ejemplos de texto utilizando modelos de búsqueda basados en aprendizaje profundo y comprensión semántica. ¿Cómo utilizar estas nuevas tecnologías para ofrecer recomendaciones de ejemplos de texto precisas e inteligentes? Este caso incluye la recopilación de aproximadamente 2000 ejemplos de textos para ensayos de IELTS, con el objetivo de desarrollar un sistema de recomendación de ejemplos de texto que permita “cómo lograr recomendaciones de ejemplos de texto eficientes, inteligentes y relevantes”. El sistema incluye cuatro modelos de búsqueda principales: BM25, Word2Vec, Sentence-BERT y Elasticsearch. Se analizaron las características de cada modelo en términos de precisión y capacidad de ordenamiento, y se evaluaron los pros y contras de cada modelo en la enseñanza de la escritura en inglés. Los resultados de los experimentos muestran que el modelo Sentence-BERT basado en Transformer es superior a los demás modelos en términos de similitud semántica y precisión de búsqueda, y es muy adecuado para la comprensión semántica y la recomendación personalizada. Aunque BM25 y Elasticsearch son métodos tradicionales, ofrecen ventajas en aspectos como el matching de palabras clave y la velocidad de búsqueda. Son adecuados para escenarios donde hay limitaciones en los recursos o se realizan búsquedas a gran escala. El modelo Word2Vec, por su parte, tiene limitaciones cuando el tamaño del corpus es pequeño. Sin embargo, como una solución intermedia que combina eficiencia y capacidad de comprensión semántica, sigue siendo útil. En general, los cuatro modelos pueden ser utilizados para realizar tareas de búsqueda de textos de escritura en inglés, dependiendo de los recursos y requisitos específicos. Se puede elegir el modelo adecuado según las necesidades del proyecto, teniendo en cuenta sus características y condiciones.  

I. Necesidades reales y innovación sistemática en la búsqueda de ejemplos de escritura en inglés  

(1) Problemas prácticos y necesidades en la búsqueda de ejemplos de escritura en inglés  

En la enseñanza de la escritura en inglés, el uso de ejemplos de texto de alta calidad puede ayudar a mejorar las habilidades de escritura de los estudiantes. Esto es especialmente cierto en los exámenes académicos y en las tareas de escritura. Sin embargo, dado que la mayoría de los maestros y estudiantes actualmente buscan ejemplos de texto mediante búsquedas de palabras clave o selección manual, este método es muy ineficiente. Además, los resultados obtenidos no son muy precisos, y no pueden satisfacer las necesidades crecientes de la enseñanza, así como las exigencias individuales de los estudiantes. Por un lado, los métodos tradicionales de búsqueda están limitados por la falta de una buena correspondencia entre las palabras, lo que dificulta la comprensión precisa de la información semántica. Por otro lado, con el aumento en la variedad de temas en la enseñanza de la escritura, se necesita automatizar y inteligir la búsqueda de ejemplos de texto, así como ofrecer recomendaciones relevantes. Con el desarrollo de la inteligencia artificial y el procesamiento del lenguaje natural en los últimos años, se han abierto nuevas posibilidades para la búsqueda de ejemplos de texto en inglés. Los modelos de búsqueda basados en la comprensión semántica profunda pueden recomendar ejemplos de texto personalizados y precisos, lo que contribuye al desarrollo de calidad en la enseñanza de la escritura en inglés.  

(II) Integración innovadora entre tecnologías de búsqueda de información y enseñanza del idioma  

Con el desarrollo continuo de las tecnologías de IA, los modelos de búsqueda de información están encontrando nuevas oportunidades de integración en el campo de la enseñanza del idioma. En los métodos tradicionales de escritura en inglés, la búsqueda de ejemplos de texto se realiza principalmente basándose en palabras clave o mediante procesos manuales. Esto resulta en una baja eficiencia y una comprensión insuficiente del significado. Estos problemas pueden mejorarse o resolverse con la ayuda de las tecnologías de búsqueda de información. El BM25, como modelo clásico de búsqueda de probabilidades de palabras clave, basado en la frecuencia de las palabras y la longitud de los documentos, sigue mostrando una buena eficiencia y estabilidad en la búsqueda de recursos educativos de gran tamaño. Con el desarrollo hacia modelos semánticos, modelos de vectores de palabras como Word2Vec, FastText y GloVe permiten convertir las palabras en vectores y identificar relaciones semánticas en el contexto, lo que permite a los sistemas educativos realizar sustituciones de sinónimos y coincidencias semánticas. Actualmente, la comunidad académica utiliza Sentence-BERT, basado en la arquitectura Transformer, para comprender en profundidad el significado de las oraciones. Al generar vectores semánticos de alta calidad, se puede ordenar y clasificar estructuras, lógica y argumentos de los ejemplos de texto de manera eficiente, mejorando así la relevancia de la búsqueda y la calidad de las recomendaciones educativas. En el campo de la tecnología educativa, se ha investigado ampliamente el potencial de la inteligencia artificial y las tecnologías de búsqueda de información en la enseñanza de la escritura. Se menciona que las funciones de búsqueda de textos y recomendación de ejemplos de texto de herramientas de escritura asistidas por IA pueden ofrecer resultados adaptativos para los estudiantes de segundo idioma, promoviendo así su capacidad para organizar el lenguaje y construir contenido. Los datos experimentales sobre modelos de lenguaje demuestran que, según Yang, Zhang y Lin (2019), el uso del modelo de búsqueda semántica BERT es más eficaz que el método tradicional de coincidencia de palabras clave en la ordenación de documentos improvisados. Es posible implementar búsqueda de textos basada en semántica en contextos de tecnología educativa. Alves Pereira, Komarlu y Mobeirek (2023) analizaron las situaciones de los usuarios de diversas herramientas de escritura inteligente desde la perspectiva de la búsqueda de información. Se encontró que el aumento en la calidad de la búsqueda de información no solo aumenta la participación de los usuarios en la escritura, sino que también mejora significativamente la variedad de ideas presentadas en los contenidos escritos. Estos estudios demuestran que la búsqueda de materiales educativos con ayuda de IA ha pasado de un enfoque basado en la coincidencia de palabras clave y selección manual a un enfoque basado en la comprensión semántica profunda. Además, este enfoque de aplicar técnicas de búsqueda de información al enseñamiento lingüístico se ajusta a las tendencias del aprendizaje lingüístico asistido por computadora. Puede considerarse como una forma de aprendizaje basado en datos (Data-Driven Learning, DDL). Este concepto educativo fue propuesto por Johns (1991), que enfatiza que, a través de la búsqueda en corpus, los estudiantes pueden descubrir activamente las reglas del idioma, lo que permite adquirir conocimientos lingüísticos de manera más eficaz. Además, este enfoque está en línea con las tendencias del aprendizaje lingüístico asistido por computadora inteligente (ICALL). Por ejemplo, Amaral y Meurers (2011) señalan que los sistemas ICALL, que utilizan tecnologías de procesamiento del lenguaje natural, no solo ofrecen ejercicios lingüísticos basados en inteligencia artificial, sino que también proporcionan retroalimentación personalizada basada en los datos de aprendizaje de los estudiantes, lo que aumenta la autonomía y la experiencia de aprendizaje en general.  

(3) Presentación y demostración del sistema de búsqueda  

En respuesta a los problemas mencionados, como la baja eficiencia en la búsqueda de ejemplos de escritura en inglés y la falta de relevancia de dichos ejemplos, basándose en los estudios anteriores, este caso de estudio utiliza el banco de datos de escritura en inglés para el examen IELTS. Se utilizan cuatro modelos de búsqueda: BM25, Word2Vec, Sentence-BERT y Elasticsearch. Este modelo de búsqueda inteligente combina varios modelos de búsqueda, desde la búsqueda basada en frecuencias de palabras hasta el cálculo de semántica basado en vectores de palabras, hasta la comprensión profunda de la semántica. Además, se permite elegir libremente diferentes modelos de búsqueda en la misma interfaz, permitiendo comparar de manera intuitiva los resultados de cada algoritmo. También se realizan comparaciones y evaluaciones sistemáticas entre los diferentes modelos, lo que permite determinar las aplicaciones adecuadas para la enseñanza. Para mejorar aún más la experiencia de interacción del usuario, se utiliza PySide6 para crear una interfaz gráfica ligera. Una vez iniciado el programa, se utilizan los diferentes operadores de modelos según las entradas del usuario, para calcular la similaridad entre ellos. La página ofrece una vista previa de todo el texto, lo que facilita su uso en la enseñanza y la investigación. Además, proporciona plantillas abiertas para las diversas funciones auxiliares que se podrían implementar posteriormente.  

II. Modelos de búsqueda principales en experimentos comparativos y métodos de evaluación para la búsqueda de textos de ejemplo  

(1) Problemas de investigación  

Este estudio tiene como objetivo principal verificar la viabilidad y el valor de aplicar métodos de búsqueda de información en la recuperación de ejemplos de escritura en inglés, y también intentar analizar los efectos de los diferentes métodos de búsqueda de información como BM25, Word2Vec, Sentence-BERT y Elasticsearch en esta tarea. A continuación, se realizan experimentos para comparar estos métodos tradicionales de búsqueda con los modelos de redes neuronales y las herramientas de búsqueda comerciales existentes. Finalmente, se analizan los beneficios y desventajas de estos métodos en el ámbito educativo, y se dan recomendaciones sobre cómo utilizar diferentes modelos en la enseñanza práctica de la escritura en inglés.  

(II) Descripción del conjunto de datos  

El conjunto de datos “IELTS-writing-task-2-evaluation” utilizado en este estudio proviene de la plataforma abierta HuggingFace. Este conjunto contiene más de 9 mil artículos de escritura en el tema Task 2 del IELTS, escritos por estudiantes reales. Cada artículo cuenta con una calificación manual correspondiente y un prompt específico para la tarea. Los temas abordados en estos artículos incluyen educación, tecnología y medio ambiente. Dado que el objetivo de este estudio es analizar cómo diferentes modelos de búsqueda de información se comportan en la tarea de recuperar ejemplos de escritura en inglés, en lugar de juzgar o evaluar subjetivamente el nivel de escritura en inglés de los estudiantes, se han utilizado los prompts y los artículos del conjunto de datos para construir modelos de extracción de palabras y para análisis comparativo posterior. No se utilizaron los criterios de calificación en este estudio.  

(III) Presentación del modelo y método de cálculo de la similitud  

Los cuatro modelos de búsqueda de información utilizados en este artículo son: el modelo tradicional BM25 basado en frecuencias de palabras, el modelo de vectores de palabras Word2Vec, que se ha utilizado ampliamente recientemente, los modelos de redes neuronales Transformer como Sentence-BERT, que permiten un análisis profundo de la semántica de las oraciones, y Elasticsearch, un motor de búsqueda de nivel industrial que se utiliza ampliamente en la actualidad.  

BM25 (Best Matching 25) es un modelo clásico de búsqueda de coincidencias de palabras. Fue propuesto por Robertson y Walker. Su versión simplificada se utiliza ampliamente en varios sistemas de búsqueda de información, como Elasticsearch y Lucene. BM25 utiliza funciones de frecuencia de palabras no lineales y la normalización de la longitud de los documentos para resolver los problemas que surgen cuando las palabras clave son demasiado frecuentes o los documentos son demasiado largos. Sin embargo, sigue siendo un método de coincidencia superficial basado en la coincidencia de palabras; no permite obtener más información desde el punto de vista semántico o del contexto. En este experimento, utilizamos el modelo BM25Okapi del repositorio rank_bm25 para implementar el modelo BM25 y llamar a su función de calificación. Como se mencionó anteriormente, BM25 tiene en cuenta la frecuencia de las palabras, la longitud de los documentos y la distribución de las palabras en el corpus, a fin de evaluar la relación entre la consulta y el documento.  

Word2Vec es un modelo de embedding de palabras lanzado por Google en 2013. Este modelo se basa en la idea de J.R. Firth de que “el significado de una palabra depende de su contexto”. Las palabras se asignan a espacios de vectores de palabras; las palabras con significados similares están cerca entre sí en ese espacio de vectores. Con este método, se pueden calcular las relaciones semánticas entre las palabras. En este estudio, se utiliza la biblioteca Gensim para implementar este proceso. La ordenación y búsqueda de los artículos se realiza según la similitud coseno, de manera decreciente. Aunque Word2Vec puede capturar las relaciones semánticas de nivel superficial, ya que se basa en vectores de palabras basados en el contexto local, no puede reflejar las relaciones semánticas más profundas de las palabras. Primero, utilizamos Numpy para obtener los vectores de palabras promedio de las consultas y de cada artículo, y estos vectores se utilizan como vectores de texto. Luego, se ordenan los vectores de manera decreciente según la similitud coseno, lo que permite una búsqueda basada en la semántica.  

Sentence-BERT (SBERT) es una versión optimizada del modelo clásico BERT. Al integrar las arquitecturas de redes Siamese y Triplet, SBERT puede generar representaciones semánticas a nivel de oraciones de manera eficiente, así como calcular la similitud entre ellas. SBERT soporta varias estrategias de pooling, como el token CLS, el pooling promedio y el pooling máximo. En este estudio, utilizamos el modelo preentrenado paraphrase-MiniLM-L6-v2 proporcionado por HuggingFace, y la biblioteca sentence-transformers para extraer vectores de oraciones. El tamaño de los vectores de oraciones generados por este modelo es de 384; por lo tanto, pueden utilizarse directamente en tareas de búsqueda semántica sin necesidad de ajustes adicionales. En cuanto al mecanismo de calificación, al igual que Word2Vec, SBERT utiliza la similitud coseno para medir la similitud semántica entre oraciones o textos. Un puntaje más alto indica una mayor relación semántica.  

Elasticsearch es un motor de búsqueda y análisis distribuido, simple y flexible, desarrollado sobre Apache Lucene. Permite configurar fácilmente clústeres de múltiples nodos y responde rápidamente a todo tipo de consultas. En este artículo, se utiliza Elasticsearch v8.7 para el diseño y desarrollo, y se basa en una arquitectura mixta que combina índices invertidos y documentos JSON. El manejo automático de los nodos asegura la exactitud de los datos. Además, en la estructura de índices, el texto original, sus segmentos, los elementos procesados y el texto original se almacenan juntos. Se utiliza la columna “copy_to” para mejorar la relevancia en la búsqueda, y se establecen los parámetros BM25 (k_1=1.5, b=0.8), adecuados para diferentes longitudes de los artículos. Finalmente, en este artículo, se considera que el mecanismo de puntuación de relevancia de documentos en Elasticsearch es un modelo modificado de BM25. El algoritmo BM25 se utiliza para calcular y ordenar la relevancia, pero solo se siguen los parámetros oficiales en cuanto a otros detalles de implementación, como el cálculo de idf.  

(IV) Métodos e indicadores de evaluación experimental  

En los sistemas de búsqueda de información, a menudo se utiliza el término “K”. Este valor representa el número de resultados de búsqueda que se muestran al usuario después de cada búsqueda realizada por el usuario (Top-K). Este parámetro determina el alcance de la visualización por parte del usuario, y es un factor importante en los criterios de evaluación de los sistemas de búsqueda (Precision@K, Recall@K, NDCG@K, etc.). Para reflejar con mayor precisión los efectos reales del sistema de búsqueda, este estudio introduce dos métodos de evaluación: K estático y K dinámico. El K estático se establece como un valor fijo (por ejemplo, K=10 o K=20), lo que simula la situación en la que los usuarios solo consultan las dos primeras páginas de los resultados de búsqueda. Este método ayuda a evaluar si el modelo puede captar más documentos con alta relevancia cuando hay “exposición limitada”. Este valor refleja directamente las preferencias de visualización de los usuarios reales. Según los experimentos con usuarios, la mayoría de los usuarios solo leen los 10º y 20º resultados durante la búsqueda. En este caso, es más razonable evaluar el modelo de búsqueda Top-K. En cuanto al K dinámico, se utiliza un valor que varía entre el número real de documentos relevantes para cada tarea de búsqueda. El valor K se establece como 0.8, 1.0, 1.2, 1.4 o 1.6 veces el número de documentos relevantes (denotado como K_ratio). Esto evita problemas de desequilibrio en la evaluación debido a valores de K demasiado grandes o demasiado pequeños. Basándose en esto, se presentan comparaciones entre diferentes modelos para tareas de búsqueda de diferentes tamaños o dificultades, así como cambios dinámicos en las tasas de precisión y completitud.  

Para poder evaluar con mayor precisión las ventajas y desventajas de los diferentes modelos de búsqueda en tareas de búsqueda de textos en inglés, hemos utilizado varios indicadores de evaluación de búsqueda de información importantes. La precisión mide la proporción de documentos relevantes entre los K primeros resultados de búsqueda que devuelve el sistema, lo que refleja la eficiencia con la que los usuarios obtienen documentos de alta calidad. La tasa de recuperación indica la proporción de documentos relevantes que el sistema logra encontrar, lo que muestra la capacidad del sistema para encontrar todos los documentos relevantes. La puntuación F1 es la media aritmética entre precisión y tasa de recuperación, y sirve para medir el equilibrio general entre la tasa de encontrar todos los documentos relevantes y la tasa de encontrar los documentos correctos. La precisión media promedio (MAP@K) mide la calidad general de ordenamiento de los documentos por parte del modelo para todas las consultas: para una sola consulta, se calcula primero la precisión de cada documento relevante encontrado, luego se calcula la media de esas precisiones, y finalmente se calcula la media para todas las consultas. El NDCG@K evalúa si los documentos más relevantes están en la posición más importante, lo que se ajusta mejor a la experiencia de uso deseada por los usuarios.  

(5) Procedimiento de experimento  

Para evaluar de manera completa la aplicabilidad y eficacia de los diferentes modelos de búsqueda de información en la tarea de búsqueda de ejemplos de escritura en inglés, este estudio diseñó el siguiente procedimiento experimental:  

1. Preprocesamiento de datos experimentales: Se descargó el conjunto de datos Task 2 de ensayos de IELTS desde HuggingFace, se seleccionaron las primeras dos mil entradas y se realizó el limpieza de texto adecuada. Posteriormente, se aplicaron pasos de preprocesamiento uniformes como limpieza de texto, segmentación de palabras, eliminación de palabras sin significado y eliminación de signos de puntuación.  

2. Integración de modelos de búsqueda: Se integraron los modelos de búsqueda BM25 del repositorio rank-bm25, el modelo Word2Vec-Cosine basado en Gensim y sklearn, el modelo Sentence-BERT que utiliza modelos preentrenados del repositorio sentence-transformers, y el modelo Elasticsearch que se basa en la interfaz elasticsearch-py y en índices invertidos en el backend. Dado que los principios de búsqueda de los cuatro modelos son diferentes, para poder comparar sus rendimientos, se diseñó un modelo de búsqueda aleatoria (RandomIR). En este modelo, cada vez que se devuelve al usuario una lista de K archivos, lo hace de manera aleatoria, sin tener en cuenta ninguna relación entre la consulta y los archivos. Todos los modelos están escritos en Python, y todas implementan funciones como la búsqueda de múltiples modelos y la devolución de los archivos encontrados según una lógica de ordenamiento, lo que permite cambiar fácilmente el método de búsqueda cuando sea necesario.  

3. Configuración y preparación de las tareas de búsqueda: El diseño del experimento consiste en utilizar temas de escritura como entrada para las necesidades de búsqueda, simulando así escenarios de búsqueda real por parte de usuarios. Para reducir el efecto de la variabilidad causada por una única cantidad de groundtruth, se definieron 5 consultas diferentes, correspondientes a 200, 112, 63, 22 y 397 artículos con etiquetas reales. Estas cantidades se distribuyen de manera escalonada, y se dividen de forma aleatoria en dos partes: el 80% para los datos de entrenamiento y el 20% para los datos de prueba. Finalmente, se realiza un análisis comparativo del rendimiento de las tareas de búsqueda con diferentes escalas de groundtruth (grande y pequeño) para garantizar la fiabilidad de los resultados del experimento, lo que permite evaluar mejor cómo la escala de los datos afecta las tareas de búsqueda.  

4. Comparación de múltiples modelos y presentación de resultados: Todos los modelos se probaron en una plataforma y conjunto de datos comunes, y se obtuvieron detalles sobre el rendimiento de búsqueda bajo diferentes criterios de evaluación y valores de K. Se crearon gráficos relacionados para facilitar la comparación horizontal y el análisis integral.  

III. Resultados de los experimentos, análisis y discusión  

(1) Resultados y análisis de los experimentos de K dinámico  

Bajo la configuración dinámica de K=1 (es decir, cuando K corresponde al número de etiquetas reales de cada consulta), los cinco modelos presentaron diferencias significativas en su valor de MAP (Mean Average Precision) para las cinco grupos de consultas. El modelo RandomIR, como referencia base aleatoria, tuvo un valor de MAP de solo 0.01, lo que indica que los resultados de búsqueda son prácticamente irrelevantes en cuanto a la ordenación de los documentos relacionados. El modelo Word2VecIR obtuvo un valor de MAP de 0.64, lo que demuestra que su rendimiento es significativamente inferior a los demás modelos principales. Tanto BM25IR como Elasticsearch lograron un valor de MAP de 0.86, lo que refleja su fiabilidad y robustez en términos de coincidencia de palabras y funcionamiento en escala industrial. En cambio, el modelo Sentence-BERT obtuvo un valor de MAP de 0.91, lo que indica que tiene una ventaja significativa en términos de comprensión semántica y ordenación de documentos. En general, los modelos de semántica profunda (Sentence-BERT) tienen una mejor capacidad para ordenar los documentos relacionados en tareas de búsqueda de textos en inglés. Por su parte, BM25 y Elasticsearch ofrecen un rendimiento confiable en la búsqueda, mientras que Word2Vec presenta limitaciones en conjuntos de datos pequeños.  

Además de RandomIR, los valores promedio de nDCG de los demás modelos, bajo diferentes valores de k_ratio, son elevados y estables. Esto indica que los modelos de búsqueda principales pueden mantener la mayoría de los documentos relevantes en la parte superior de los resultados de búsqueda, logrando así un ordenamiento adecuado. En particular, cuando k_ratio=0.8, los valores de nDCG de BM25IR, Elasticsearch y Sentence-BERT son cercanos a 1, lo que demuestra que la precisión del ordenamiento y la experiencia del usuario están bien garantizadas. Un análisis más detallado muestra que el nDCG de Sentence-BERT siempre es el más alto, y sus valores varían muy poco con el cambio de k_ratio, lo que demuestra la robustez de los modelos semánticos avanzados en la búsqueda de textos. BM25IR y Elasticsearch también mantienen valores superiores a 0.95, lo que indica que los resultados son estables y fiables. Word2VecIR, en general, es inferior a los tres modelos mencionados anteriormente, pero tiene una mejora significativa en comparación con el método aleatorio (RandomIR, con un nDCG de aproximadamente 0.05–0.1), lo que demuestra claramente las ventajas de los modelos principales en el ordenamiento de documentos relevantes.  

Los puntajes de F1 de los diferentes modelos de búsqueda presentan ligeras variaciones. Sin embargo, en todos los modelos, cuando k_ratio es igual a 1, tanto la precisión como la tasa de recuperación son óptimas, y los puntajes de F1 también alcanzan su punto máximo. Se puede observar que el modelo Sentence-BERT tiene el puntaje de F1 más alto, casi 0.9, lo que es varias veces mayor que el de los demás modelos. Por lo tanto, este modelo presenta un buen rendimiento general en la búsqueda de textos. Con el aumento de k_ratio, la mayoría de los puntajes de F1 disminuyen gradualmente. En particular, BM25IR y Elasticsearch pasan de 0.86 a aproximadamente 0.7. Pero Word2VecIR siempre se mantiene en un nivel bajo, sin superar los 0.7. La búsqueda aleatoria (RandomIR) siempre tiene un puntaje de F1 muy bajo; simplemente se utiliza como referencia inferior. Esto demuestra que un valor de k_ratio adecuado, como k_ratio=1, permite mostrar de manera más precisa los efectos del modelo de búsqueda, sin que la tasa de precisión disminuya debido al aumento de la tasa de completitud.  

A medida que aumenta el valor de k_ratio, la precisión de los modelos disminuye en general, mientras que el índice de recuperación aumenta gradualmente. Esto refleja la relación de equilibrio natural entre ambos en la tarea de búsqueda. Es especialmente importante destacar que Sentence-BERT sigue manteniendo una posición destacada en todos los valores de k_ratio: en k_ratio=0.8, la precisión es de 0.98, y en k_ratio=1.6, el índice de recuperación alcanza los 0.93. Esta tendencia también coincide con los resultados obtenidos anteriormente en el puntaje F1, lo que indica que el modelo tiene una ventaja significativa en el equilibrio entre la precisión y la tasa de recuperación.  

Además de comparar los resultados de ordenamiento obtenidos por cada modelo, también presentamos las curvas PR y los valores de AUC de todos los modelos. La curva PR permite visualizar la proporción de documentos relevantes obtenidos por cada modelo bajo diferentes niveles de tasa de recuperación; es decir, representa los valores de los modelos bajo diferentes límites de búsqueda. Además, se calculó el AUC de cada modelo, lo que permite evaluar la capacidad total de búsqueda de los modelos. Cuanto mayor es el AUC, significa que el modelo puede encontrar documentos de alta relevancia en algún momento y mantener una alta tasa de precisión; por el contrario, si no se pueden encontrar documentos de alta relevancia en un momento determinado, entonces la búsqueda en ese momento es deficiente. El mejor caso es cuando se logra cumplir con esta condición en todos los momentos, lo que indica que los documentos de alta relevancia pueden ser encontrados y que la tasa de precisión es alta. Según los resultados, el valor de AUC de Sentence-BERT es el más alto, 0.14, y muestra un excelente rendimiento en todos los niveles de threshold. En cambio, el AUC de RandomIR es solo 0.004, mucho menor que los de los otros modelos principales.  

(II) Resultados y análisis de los experimentos de K estático  

La evaluación estática de K utiliza valores de K=10 y K=20 para evaluar el rendimiento de los diferentes modelos en el proceso de búsqueda de textos relacionados con personas reales. Además, se comparó el rendimiento de los diferentes modelos en situaciones de búsqueda de textos relacionados con usuarios reales. Los resultados mostraron que los modelos principales BM25IR, Sentence-BERT y Elasticsearch obtuvieron un valor de 1.00 en Precision@10 y nDCG@10. Esto indica que tienen una buena capacidad para encontrar todos los textos relacionados en la décima coincidencia. En cuanto a Word2VecIR, ambos indicadores fueron buenos (Precision@10: 0.88, nDCG@10: 0.89). En cambio, los indicadores de RandomIR fueron los más bajos.  

Cuando el umbral se eleva a K=20, BM25IR, Sentence-BERT y Elasticsearch siguen manteniendo un rendimiento muy alto en la búsqueda (Precision@20 es de 0.97–1.00, nDCG@20 es de 0.98–1.00), con solo una ligera disminución en comparación con K=10. Los valores de MAP@20 de todos los modelos aumentan (BM25IR: 0.30, Sentence-BERT: 0.31, Elasticsearch: 0.29), pero en general, sigue siendo significativamente inferior a Precision y nDCG. Esto se debe a que, en algunas consultas, la cantidad de textos relevantes es mucho mayor que el valor K, lo que hace que, incluso si todos los resultados de búsqueda son relevantes, el valor de MAP disminuya, ya que la división en el total de documentos relevantes también contribuye a esa disminución. En Word2VecIR, los indicadores disminuyen aún más cuando K=20 (Precision@20: 0.86, nDCG@20: 0.87, MAP@20: 0.16). RandomIR, por su parte, siempre presenta un rendimiento muy bajo. Cabe destacar que, aunque los modelos principales tienen valores cercanos al perfecto en indicadores como Precision y nDCG, los valores de MAP siguen siendo significativamente inferiores debido a la configuración estática de K y a la distribución de relevancia de los documentos. Esto indica que, cuando la cantidad de textos relevantes es mucho mayor que el umbral de búsqueda K, solo cuando la mayoría de los documentos relevantes se encuentran en la primera posición, los valores de MAP serán cercanos a 1, al igual que Precision y nDCG. En general, BM25IR, Sentence-BERT y Elasticsearch muestran una gran estabilidad y capacidad de ordenamiento en la búsqueda de textos relevantes basados en preguntas, mientras que Word2Vec es más inestable en los indicadores relacionados con la clasificación. Esta diferencia confirma la eficacia de estrategias de búsqueda complejas en la búsqueda de textos relevantes en ensayos argumentativos.  

(3) Discusión de los resultados de los experimentos  

En este estudio se utilizaron dos métodos de evaluación: K dinámico y K estático. Se compararon sistemáticamente las prestaciones de diferentes modelos de búsqueda en tareas de búsqueda de ejemplos de escritura en inglés. Los resultados del experimento indican que el modelo Sentence-BERT es significativamente superior a los demás modelos en la mayoría de los indicadores, tanto en MAP, nDCG como F1. Además, mantiene una alta precisión en la clasificación de documentos relevantes, incluso bajo diferentes valores de umbral. BM25 y Elasticsearch tienen ventajas en la coincidencia de palabras clave y eficiencia de búsqueda. Sin embargo, cuando los recursos computacionales son limitados, ambos modelos mantienen una alta precisión en la búsqueda. Word2Vec, por su parte, tiene limitaciones debido al tamaño de los datos de entrenamiento y la capacidad de manejar palabras polisílabas. En la evaluación con K dinámico, se encontró que ajustar el valor de K permite evaluar de manera más completa el equilibrio entre precisión y relevancia de los modelos. En la evaluación con K estático, se estableció K en 10 y 20 para simular escenarios de búsqueda reales, y se observaron las prestaciones de los modelos. BM25IR, Sentence-BERT y Elasticsearch alcanzan valores cercanos a 1.0 en los indicadores Precision@K y nDCG@K, lo que permite clasificar de manera estable los documentos relevantes. A medida que aumenta el valor de K, los indicadores sensibles a la clasificación, como MAP, mejoran, pero debido al número de documentos relevantes que superan el valor de K, los puntajes de MAP son inferiores a los de Precision y nDCG. Word2Vec presenta una prestación aún más débil en esta evaluación, lo que refleja su sensibilidad a los datos de entrenamiento y las ambigüedades semánticas. En general, estos resultados indican que, en escenarios reales donde no se exige una alta precisión en la búsqueda, los modelos de búsqueda principales pueden ofrecer resultados satisfactorios. En la práctica, se puede elegir el modelo adecuado según las necesidades específicas y los recursos del sistema.  

El Sentence-BERT muestra una excepcional capacidad de comprensión semántica profunda, capaz de captar con precisión el significado en textos complejos y realizar búsquedas eficientes. Reimers y Gurevych (2019) señalan que, al generar vectores de oraciones de alta calidad, puede reducir significativamente el tiempo de respuesta en búsquedas semánticas a gran escala. Esta capacidad lo hace muy adecuado para tareas educativas que requieren una comprensión semántica avanzada, como la recomendación personalizada, la asistencia al escrito inteligente y la distribución de modelos de texto avanzados, pero también aumenta su demanda de recursos computacionales, por lo que es adecuado para ser implementado en entornos con condiciones de hardware más favorables. Los modelos de búsqueda tradicionales como BM25 y Elasticsearch, gracias a su capacidad estable de coincidencia de palabras clave y su bajo consumo de recursos, siguen teniendo un gran valor en los sistemas educativos. En los tests de referencia BEIR, BM25, como referencia para búsquedas sin muestra, sigue siendo más eficaz que la mayoría de los modelos de búsqueda escasos y densos en tareas de búsqueda de documentos de múltiples campos, lo que demuestra su utilidad y estabilidad. Por lo tanto, en escenarios que requieren alta eficiencia y estabilidad del sistema, como el índice de nombres de cursos, la localización de palabras clave en materiales didácticos o la búsqueda rápida de recursos educativos, BM25/Elasticsearch podrían ser la opción más adecuada. Word2Vec puede medir efectivamente la similitud semántica entre palabras, y teóricamente tiene el potencial de expandir la diversidad de expresiones, siendo adecuado para tareas auxiliares como la reescritura automática. Sin embargo, investigaciones muestran que, cuando el tamaño del material de entrenamiento es limitado o el contexto es complejo, Word2Vec genera vectores de palabras de baja calidad, lo que conduce a una interpretación semántica imprecisa y a problemas de similitud falsa (por ejemplo, la confusión en el significado de “bank” en diferentes contextos, o la identificación errónea de “cat” y “chair”). Por lo tanto, Word2Vec es más adecuado como herramienta auxiliar en sistemas de enseñanza de escritura, y debe utilizarse con precaución en combinación con material de entrenamiento de gran tamaño y calidad, así como con las necesidades específicas del proyecto. En resumen, cada uno de los tres modelos tiene sus especializaciones: Sentence-BERT es adecuado para la comprensión semántica profunda y la recomendación inteligente; BM25/Elasticsearch satisfacen las necesidades básicas de búsqueda de palabras clave y eficiencia; Word2Vec puede servir como herramienta complementaria en tareas que requieren diversidad en la expresión.  

IV. Resumen de los casos  

(1) Conclusiones del estudio  

En comparación con el método actual, que consiste en seleccionar una sola técnica para evaluar su eficacia en la mayoría de los trabajos relacionados, este artículo analiza de manera comparativa diversas técnicas como BM25, Word2Vec, Sentence-BERT y Elasticsearch en tareas de búsqueda de textos en inglés. Se encontró que el modelo de red neuronal semántica Sentence-BERT, basado en la arquitectura Transformer, es el más eficaz en todos los indicadores, ya que refleja con mayor precisión las conexiones semánticas profundas entre los documentos. También ofrece una buena estabilidad para diferentes tipos de búsquedas, tanto para títulos como para textos completos. Por otro lado, los métodos tradicionales basados en palabras clave o índices inversos, como BM25 y Elasticsearch, ofrecen un alto rendimiento y estabilidad cuando se utilizan con pocos recursos computacionales o cuando se enfoca en la búsqueda basada en coincidencias de palabras clave. Sin embargo, estos métodos no permiten realizar búsquedas semánticas y dificultan la realización de tareas de escritura cuando no hay suficiente material de entrenamiento. Además, el modelo de red neuronal de vectores de palabras, Word2Vec, requiere una gran cantidad de datos para su entrenamiento. En este experimento, debido a la limitada escala de datos utilizados, Word2Vec no logra distinguir y coincidir adecuadamente entre palabras polisílabas y significados complejos, lo que demuestra que estos modelos necesitan grandes cantidades de datos de alta calidad para su uso en situaciones reales. Desde el punto de vista de aplicaciones educativas, los cuatro modelos principales tienen buen rendimiento en tareas de búsqueda inteligente de textos. En situaciones donde se exige alta calidad de los textos, Sentence-BERT es la mejor opción; además, en lugares donde hay suficientes recursos y capacidad de procesamiento, se pueden proporcionar textos más útiles para profesores y estudiantes. El BM25 y Elasticsearch tienen ventajas significativas en cuanto a la simplicidad de operación, la rápida respuesta y la necesidad de menos recursos de hardware. Son especialmente adecuados para búsquedas en gran escala relacionadas con la enseñanza, así como para búsquedas cotidianas o tareas básicas de escritura. Word2Vec, por su parte, ofrece cierta capacidad semántica, siendo una solución que permite cumplir con las restricciones de recursos disponibles. Se debe elegir la configuración del modelo adecuada, según las condiciones reales de los recursos de computación de la plataforma, las necesidades del aplicativo y el tiempo de desarrollo, con el objetivo de lograr el mejor equilibrio entre calidad y costo, y así satisfacer tanto los requisitos de eficiencia como la velocidad del aplicativo. Este estudio demuestra que los modelos de redes neuronales tienen una ventaja sobre otros modelos en el campo de la búsqueda inteligente de escritura en inglés. También se ofrecen ideas útiles para la selección de modelos en diferentes escenarios educativos y para la optimización de sistemas de asistencia a la escritura. En el futuro, se intentará integrar varios modelos y sistemas para promover el desarrollo informático e inteligente de la enseñanza de la escritura en inglés.  

(II) Limitaciones  

Aunque los sistemas de investigación han comparado los diferentes modelos de búsqueda de información en la recuperación de ejemplos de escritura en inglés, todavía existen ciertas limitaciones: en primer lugar, los conjuntos de datos utilizados actualmente para el examen IELTS tienen una distribución desigual de temas, con una gran cantidad de temas de “cola larga”. En la aplicación real de estos datos, la capacidad de predicción basada en los modelos existentes puede estar orientada hacia los temas que son fáciles de entender por los modelos. Sin embargo, para algunos temas poco comunes o interdisciplinarios, la precisión en la recuperación de ejemplos es relativamente baja. En segundo lugar, la evaluación de relevancia actual se basa únicamente en la consistencia de las etiquetas, sin tener en cuenta la autenticidad de los textos, su relevancia y la diversidad semántica. Aún no existe un estándar oficial, y mucho menos una forma de seleccionar los temas basada en la consistencia de las etiquetas. En el modelado, se utilizan principalmente métodos como el MAP de relevancia y NDCG para evaluar el rendimiento del modelo. Pero cuando hay pocos ejemplos relevantes y diferentes longitudes de artículos, no es posible cuantificar completamente el rendimiento del modelo. En cuanto a la optimización de algoritmos, es necesario seguir investigando tanto la optimización del algoritmo como el mejoramiento del rendimiento del modelo, así como la calidad de la escritura y las aplicaciones educativas. Además, hay limitaciones en cuanto al tamaño de la muestra utilizada para el análisis de sensibilidad de los parámetros.  

(3) Perspectivas futuras  

Este estudio ha demostrado la eficacia de los modelos principales de búsqueda de información en la recuperación de ejemplos de escritura en inglés. Sin embargo, en el futuro, se podrían realizar investigaciones desde los siguientes ángulos: primero, aumentar la cantidad de datos y diversificar las fuentes de datos; segundo, sobre la base de los modelos seleccionados, combinar otros modelos para explorar métodos de integración de múltiples modelos, con el fin de mejorar el rendimiento del modelo en la recuperación de significados complejos y expresiones variadas; tercero, analizar sistemáticamente el impacto de métodos de preprocesamiento de texto como la reconstrucción de formas de palabras, la extracción de raíces y el tratamiento de palabras no utilizadas en el rendimiento del modelo; finalmente, incorporar factores relacionados con los hábitos y preferencias de los usuarios, para que el sistema pueda integrarse mejor en escenarios reales de enseñanza, optimizar sus funciones mediante retroalimentación y utilizar sus recursos de datos para expandir sus capacidades. Con el desarrollo de tecnologías como la inteligencia artificial y el procesamiento del lenguaje natural, los sistemas de recuperación de ejemplos de escritura en inglés también se volverán más eficaces en la enseñanza de la escritura en inglés.