أربع طرق للعثور على مقالات نموذجية باللغة الإنجليزية

استرجاع نماذج المقالات الحجاجية بالإنجليزية باستخدام الذكاء الاصطناعي: مقارنة أربعة نماذج

Guo Shiyi, Zhu Tianning, Bie Zini, Hu Jiawen  

جامعة أوبسالا (السويد)  

الملخص:استندت هذه الحالة على بيانات النصوص النقدية باللغة الإنجليزية، وتم تطوير نظام لاسترجاع النصوص النقدية باللغة الإنجليزية يعتمد على الذكاء الاصطناعي ومعالجة اللغة الطبيعية. وقد تم دمج أربعة نماذج رئيسية، وهي BM25 وWord2Vec وSentence-BERT وElasticsearch، كما تم تطوير واجهة مستخدم بسيطة لعرض وظائف النظام. تمت مقارنة أداء النماذج المختلفة فيما يتعلق بارتباط النصوص بالموضوع وقدرتها على الترتيب. وأظهرت النتائج أن جميع النماذج الأربعة قادرة على أداء مهمة استرجاع النصوص النقدية باللغة الإنجليزية، لكن نموذج Sentence-BERT الذي يعتمد على نظام Transformer كان الأفضل من حيث تحديد التشابه الدلالي ودقة الاسترجاع. كما أن النماذج التقليدية مثل BM25 وElasticsearch تتمتع بقيمة عملية في الحالات التي يكون فيها الموارد محدودة أو يتم التركيز على استرجاع الكلمات الرئيسية، ويمكن للنظام اختيار النموذج المناسب حسب احتياجات التعليم والموارد المتاحة على المنصة. توفر هذه الحالة مرجعًا لتطوير وتطبيق أدوات استرجاع تعليم اللغة الإنجليزية الذكية.

الكلمات المفتاحية:الذكاء الاصطناعي؛ نماذج البحث عن المعلومات؛ تدريس الكتابة باللغة الإنجليزية

في عملية تدريس ودراسة الكتابات الإنجليزية، تُعتبر النصوص النموذجية موردًا مهمًا للغاية. الطرق التقليدية لاستخراج الكلمات الرئيسية والتصفية اليدوية تعاني من قيود كبيرة من حيث الارتباط والكفاءة، مما يجعلها غير كافية لتلبية احتياجات التدريس على نطاق واسع وشخصي. حاليًا، يتم استخدام طرق استخراج الكلمات الرئيسية أو التصفية اليدوية لاختيار النصوص النموذجية، لكن لهما مشاكل لا يمكن تجنبها: من ناحية، لا يمكن لاستخراج الكلمات الرئيسية أن يلبي جميع التفاصيل التي يهتم بها الطلاب في البيئة الحقيقية؛ ومن ناحية أخرى، سرعة التصفية اليدوية بطيئة، وإذا كان عدد النصوص كبيرًا، فإن ذلك يصبح معقدًا وغير فعال. مع تطور الذكاء الاصطناعي وعلوم اللغة الطبيعية، يمكن استخدام نماذج البحث في النصوص القائمة على التعلم العميق وفهم الدلالات لتحسين دقة وذكاء استخراج النصوص النموذجية. إن كيفية استخدام هذه التقنيات الجديدة لتقديم نصوص نموذجية دقيقة وذكية أصبحت موضوعًا مهمًا للبحث. تم جمع حوالي 2000 نصًا لكتابات أطروحة IELTS، وتم تصميم نظام لتقديم النصوص النموذجية بهدف “كيفية تقديم نصوص نموذجية فعالة وذكية وذات صلة”. يحتوي النظام على أربع أنواع من نماذج البحث الرئيسية مثل BM25 وWord2Vec وSentence-BERT وElasticsearch، وتم تحليل خصائص كل نموذج من حيث الدقة والقدرة على الترتيب، وتم تحليل مزايا وعيوب كل نموذج في تدريس الكتابة الإنجليزية. أظهرت النتائج التجريبية أن نموذج Sentence-BERT القائم على Transformer يتفوق بشكل واضح على النماذج الأخرى من حيث التشابه الدلالي والدقة في البحث، ويتمتع بقدرة جيدة على فهم الدلالات وتقديم النصوص النموذجية الشخصية. على الرغم من أن نموذج BM25 ونموذج Elasticsearch يُعتبران تقليديين، إلا أنهما يتمتعان بمزايا في مجالات مثل مطابقة الكلمات الرئيسية وسرعة البحث؛ أما نموذج Word2Vec، فإن أداؤه محدود في ظروف محدودة من حيث حجم البيانات، لكن كحل وسط يجمع بين الكفاءة والقدرة على فهم المعنى الأساسي، فإنه لا يزال له قيمة معينة في التطبيقات المختلفة. بشكل عام، يمكن لكل من النماذج الأربعة التعامل مع مهام البحث عن نصوص كتابية باللغة الإنجليزية في ظروف مختلفة من حيث الموارد والاحتياجات، ويمكن اختيار النموذج المناسب بناءً على احتياجات المهمة الفعلية وخصائص النموذج والظروف المطلوبة.  

١. الحاجة الواقعية إلى البحث عن نماذج كتابة باللغة الإنجليزية والابتكار النظامي  

(1) المشاكل الواقعية والاحتياجات المتعلقة باستخدام النماذج الأدبية في تدريس الكتابة باللغة الإنجليزية  

في تدريس الكتابة باللغة الإنجليزية، يساعد استخدام نصوص كتابية عالية الجودة في تحسين مستوى الكتابة لدى الطلاب، خاصة في الاختبارات الأكاديمية والواجبات الكتابية. لكن، نظرًا لأن معظم المعلمين والطلاب يبحثون عن النصوص الكتابية باستخدام كلمات مفتاحية أو عن طريق الفرز اليدوي، فإن هذه الطريقة غير فعالة، كما أن النتائج التي يتم الحصول عليها غير دقيقة، ولا تلبي الحاجة إلى كمية كبيرة من النصوص الكتابية، بالإضافة إلى احتياجات الطلاب الفردية. من ناحية، فإن الطرق التقليدية للبحث تكون غير فعالة، لأنها لا تعتمد على تطابق معلومات الكلمات، وبالتالي يصعب على الطلاب الحصول على نصوص كتابية عالية الجودة. من ناحية أخرى، مع زيادة أنواع الموضوعات في تدريس الكتابة، أصبح من الضروري استخدام طرق آلية وذكية للبحث عن النصوص الكتابية، وذلك لتحقيق توصيات دقيقة ومخصصة. مع تطور الذكاء الاصطناعي ومعالجة اللغة الطبيعية في السنوات الأخيرة، أصبحت هناك إمكانيات جديدة للبحث عن النصوص الكتابية باللغة الإنجليزية، ويمكن لنماذج البحث عن المعلومات القائمة على الفهم العميق للمعنى أن توفر توصيات دقيقة ومخصصة، مما يساعد في تطوير تدريس الكتابة باللغة الإنجليزية بجودة عالية.  

(٢) دمج تقنيات البحث عن المعلومات مع الابتكار في تدريس اللغة  

مع التطور العميق لتقنيات الذكاء الاصطناعي، تظهر فرص جديدة للتكامل في مجال تعليم اللغة من خلال نماذج البحث عن المعلومات. في طرق التدريس التقليدية للكتابة باللغة الإنجليزية، يعتمد البحث عن النماذج النموذجية بشكل رئيسي على الكلمات المفتاحية أو بالاعتماد على العمالة، مما يؤدي إلى ضعف الكفاءة وضعف فهم المعنى. يمكن للتقنيات البحثية عن المعلومات مساعدة في تحسين هذه المشاكل أو حلها. BM25 كنموذج كلاسيكي لبحث احتمالات الكلمات المفتاحية، يعتمد على تكرار الكلمات وطول المستندات المقارنة، ولا يزال يظهر كفاءة جيدة واستقرار في موارد التعليم الكبيرة. مع التطور نحو التوجه المعجمي، تُظهر نماذج أحجام الكلمات مثل Word2Vec وFastText وGlove تحويل الكلمات إلى أشكال متجهة وتمكن من الحصول على العلاقات المعجمية في السياق، مما يلبي احتياجات نظام التعليم لاستبدال الكلمات المتشابهة والمطابقة المعجمية؛ وقد استخدم الأكاديميون حاليًا Sentence-BERT القائم على بنية Transformer للفهم العميق للمعنى في الجمل، ومن خلال إنتاج متجهات معجمية عالية الجودة، يتم تطابق وتصنيف هيكل الكتابة والمنطق والنقاط الرئيسية بشكل عالي الجودة، مما يزيد من الارتباط في البحث ويجعل جودة التوصيات التعليمية أعلى. في مجال تكنولوجيا التعليم والتعليم، تمت دراسة واسعة حول إمكانيات استخدام الذكاء الاصطناعي وتقنيات البحث عن المعلومات في تدريس الكتابة، وقد أشارت الدراسات إلى أن استخدام أدوات مساعدة الكتابة بالذكاء الاصطناعي يمكن أن يوفر نتائج تغذية راجعة مختلفة لتكوين الكتابة لدى المتعلمين اللغويين الثانويين، مما يعزز قدراتهم في تنظيم اللغة وبناء المحتوى. استنادًا إلى بيانات تجريبية كثيرة حول نماذج اللغة، استنتج يانغ، زانغ، ولين (2019) أن استخدام نموذج البحث الدلالي BERT أفضل من طريقة مطابقة الكلمات الرئيسية التقليدية في ترتيب المستندات العفوية، وأن تحقيق البحث عن المقالات الدلالية من خلال تكنولوجيا التعليم ممكن. أجرى ألفيس بيريرا، كومارلو، وموبيريك (2023) تحليلًا مقارنًا لحالات استخدام أدوات الكتابة بالذكاء الاصطناعي من منظور البحث عن المعلومات، ووجدوا أن تحسين جودة البحث يزيد من مشاركة المستخدمين في الكتابة، كما يعزز تنوع وجهات المحتوى الذي يخلقه المستخدمون. تُظهر هذه الدراسات أن البحث عن المواد التعليمية المساعدة بالذكاء الاصطناعي قد تحول تدريجيًا من مطابقة الكلمات الرئيسية واختيار يدوي إلى تقنيات فهم دلالي عميقة. في الوقت نفسه، يتوافق استخدام تقنيات البحث عن المعلومات في التعليم اللغوي مع اتجاه تطور التعلم اللغوي المساعد بالحاسوب (CALL). يمكن اعتباره شكلاً من أشكال ممارسة “التعلم المدفوع بالبيانات” (Data-Driven Learning, DDL). تم طرح هذا المفهوم التعليمي من قبل Johns (1991)، حيث يؤكد على أن استخدام قواعد البيانات يسمح للطلاب باكتشاف قواعد اللغة بشكل مستقل، مما يساعدهم على إتقان المعرفة اللغوية بشكل أكثر فعالية. بالإضافة إلى ذلك، يتوافق هذا النموذج أيضًا مع اتجاه تطور التعلم اللغوي المساعد بأجهزة الكمبيوتر الذكية (ICALL). على سبيل المثال، أشار Amaral و Meurers (2011) إلى أن أنظمة ICALL التي تستخدم تقنيات معالجة اللغة الطبيعية (NLP) لا توفر فقط تدريبات لغوية تعتمد على الذكاء الاصطناعي، بل يمكنها أيضًا دمج بيانات تعلم الطلاب لتقديم تغذية راجعة مخصصة، مما يعزز استقلالية المتعلم وتجربة التعلم الشاملة.  

(٣) عرض نظام البحث وتوضيحه  

فيما يتعلق بالمشاكل المذكورة أعلاه، مثل انخفاض كفاءة البحث عن النصوص في تدريس الكتابة باللغة الإنجليزية، وعدم كفاءة العلاقة بين النصوص، فإن هذا المشروع يعتمد على قاعدة بيانات كتابة IELTS، ويستخدم أربعة نماذج بحثية مثل BM25 وWord2Vec وSentence-BERT وElasticsearch. ويشمل النظام البحثي الذكي الذي تم تطويره استخدام نماذج البحث المختلفة، من البحث بناءً على تكرار الكلمات، إلى حساب معنى الكلمات، وصولاً إلى الفهم العميق للمعنى. كما يسمح النظام بالاختيار الحر لنماذج البحث المختلفة على نفس الواجهة، ومقارنة نتائج الخوارزميات المختلفة بشكل واضح، وإجراء مقارنات وتقييمات شاملة للنماذج المختلفة، وبالتالي تحديد التطبيقات المناسبة للتدريس. بالإضافة إلى ذلك، من أجل تحسين تجربة التفاعل مع المستخدمين، تم استخدام PySide6 لتطوير واجهة رسومية خفيفة، وعند تشغيل البرنامج، يتم استخدام نماذج البحث المختلفة لحساب درجات التشابه، ثم يتم تقديم النتائج المترتبة. توفر الصفحة ميزة الاطلاع على النص الكامل، مما يسهل استخدامها في التدريس والبحث، كما توفر أساسًا للتقارير المفتوحة للأدوات المساعدة المستخدمة لاحقًا.  

ثانيًا، نماذج البحث الرئيسية في بحث النصوص النموذجية: خطط التجارب والمقاييس التقييمية  

(1) قضايا البحث  

الهدف الرئيسي من هذه الدراسة هو التحقق من مدى صحة استخدام طرق البحث عن المعلومات في تحسين كتابة النصوص باللغة الإنجليزية، بالإضافة إلى تقييم قيمتها في التطبيقات العملية. كما حاولت الدراسة استكشاف أداء طرق البحث عن المعلومات المختلفة مثل BM25 وWord2Vec وSentence-BERT وElasticsearch في تحسين كتابة النصوص. ثم قامت الدراسة بمقارنة هذه الطرق التقليدية مع نماذج الشبكات العصبية والخدمات البحثية التجارية المتاحة، وأخيرًا تم تحليل القيمة والعيوب المتعلقة بها في مجال التعليم. كما تم تقديم نصائح حول استخدام أنواع مختلفة من النماذج في تدريس كتابة النصوص باللغة الإنجليزية.  

(٢) شرح مجموعة البيانات  

يستخدم المعهد البيانات “IELTS-writing-task-2-evaluation”، والتي تأتي من منصة HuggingFace المفتوحة. تحتوي هذه البيانات على أكثر من 9 آلاف مقال كتابة من قبل أشخاص حقيقيين، وكل مقال يحتوي على تقييمات صناعية وموضوعات محددة. تتركز المواضيع التي يتم تناولها في هذه المقالات على مجالات التعليم والتكنولوجيا والبيئة. نظرًا لأن الهدف من هذه الدراسة هو فهم مدى كفاءة نماذج البحث عن المعلومات المختلفة في استخراج المعلومات في المقالات الإنجليزية، وليس تقييم مستوى الكتابة الإنجليزية، فقد تم اختيار موضوعات الكتابة والمقالات الموجودة في البيانات لاستخدامها في بناء نموذجات الاستخراج، بالإضافة إلى إجراء تحليلات مقارنة لاحقة، ولم يتم استخدام مؤشرات التقييم.  

(٣) عرض النموذج وطريقة حساب التشابه  

النماذج الأربعة المستخدمة في هذا المقال لتحسين البحث عن المعلومات هي: نموذج BM25 القائم على تكرار الكلمات التقليدي، ونموذج Word2Vec الذي يُستخدم على نطاق واسع في الآونة الأخيرة، ونموذج الشبكات العصبية التحويلية Sentence-BERT الذي يُستخدم لاستكشاف معنى الجملة بشكل أعمق، بالإضافة إلى نظام البحث Elasticsearch الذي يُستخدم على نطاق صناعي وشائع حاليًا.  

BM25 (Best Matching 25) هو نموذج لاسترجاع البيانات بناءً على التطابق بين الكلمات. تم طرحه لأول مرة من قبل روبرتسون وواكير، وتم استخدام نسخته المبسطة في العديد من أنظمة البحث عن المعلومات، مثل Elasticsearch وLucene. يعتمد BM25 على دالة التردد غير الخطية للكلمات، بالإضافة إلى تطبيع طول المستندات، لحل مشكلة تأثير كثرة تكرار الكلمات أو طول المستندات الطويلة على تقييم الارتباط بين الكلمات والمستندات. لكنه لا يزال طريقة مبسطة للتطابق، ولا يمكنه الحصول على معلومات أكثر من مستوى الدلالية أو السياق. في هذه التجربة، استخدمنا نموذج BM25Okapi من مكتبة rank_bm25 لتنفيذ نموذج BM25 واستخدام دالة التقييم الخاصة به. كما ذُكر أعلاه، يأخذ BM25 في الاعتبار تردد الكلمات، وطول المستندات، وتوزيع الكلمات في النصوص، من أجل تقييم درجة الارتباط بين الكلمات والمستندات.  

Word2Vec هو نموذج تدبير الكلمات الذي أصدرته شركة Google في عام 2013. يعتمد هذا النموذج على فكرة J.R. Firth التي تقول “معنى الكلمة يعتمد على السياق الذي تُستخدم فيه”. حيث يتم تحويل الكلمات إلى متجهات في الفضاء، وكلما كان المعنى بين الكلمات أقرب، كانت المسافة بين المتجهات أقصر. وبهذه الطريقة، يتم حساب العلاقات المعنوية بين الكلمات. في هذه الدراسة، تم استخدام مكتبة Gensim لتنفيذ ذلك، وتم ترتيب النصوص حسب درجة التشابه الكوسيني، وذلك بطريقة تناقصية. وعلى الرغم من أن Word2Vec يمكنه تحديد العلاقات المعنوية البسيطة، إلا أن Word2Vec يعتمد فقط على متجهات الكلمات في السياق المحلي، لذلك لا يمكنه تحديد المعاني العميقة للكلمات. أولاً، نستخدم Numpy للحصول على متجهات الكلمات للاستعلامات والنصوص، ثم نقوم بترتيب النصوص حسب درجة التشابه الكوسيني، وبهذه الطريقة نحقق نتائج بحث قائمة على المعنى.  

نموذج Sentence-BERT (SBERT) هو تطوير لنموذج BERT الكلاسيكي، حيث يتم دمج هيكل الشبكات Siamese وTriplet فيه. وبذلك، يمكنه إنتاج تمثيلات دلالية على مستوى الجمل بكفاءة، كما يمكنه حساب درجة التشابه بين الجمل. يدعم SBERT عدة استراتيجيات للتخزين، مثل توكين CLS، والتخزين المتوسط، والتخزين الأقصى. في هذه الدراسة، استخدمنا النموذج المدرب مسبقًا من HuggingFace، وهو paraphrase-MiniLM-L6-v2، واستعنت بكتالوج sentence-transformers لاستخراج vectores الجمل. يبلغ حجم vectores الجملة التي ينتجها النموذج 384، مما يسمح باستخدامه مباشرة في مهام البحث الدلالي دون الحاجة إلى تعديلات إضافية. من ناحية آلية التقييم، مثل Word2Vec، يستخدم SBERT درجة التشابه الكوسيني لقياس التشابه الدلالي بين الجمل أو النصوص، وكلما كانت النتيجة أعلى، كان الترابط الدلالي أقوى.  

Elasticsearch هو محرك بحث وتحليل متعدد الأجهزة وبسيط ومرن، تم تطويره على أساس Apache Lucene. يمكن تهيئة مجموعات متعددة الأجهزة بسهولة، كما يمكن استجابة للأنواع المختلفة من الاستعلامات بسرعة. تم استخدام Elasticsearch v8.7 في تصميم وتطوير هذا المشروع، وتم استخدام هيكل مختلط يجمع بين فهارس البيانات والوثائق JSON، بالإضافة إلى إعداد الأجهزة تلقائيًا وطريقة إدارتها، مما يضمن دقة البيانات. كما تم تخزين النص الأصلي والفقرات الفرعية منه والكلمات المُحسّنة مع النص الأصلي معًا، واستخدام حقل “copy_to” لزيادة دقة البحث، وتم تعيين معلمات BM25 (k_1=1.5، b=0.8)، وهو مناسب لأطوال مختلفة للنصوص. وأخيرًا، في هذا المقال، يُعتبر نظام تقييم الارتباط في مستندات Elasticsearch نموذجًا معدلًا من BM25، حيث يتم استخدام خوارزمية BM25 لتقييم الارتباط والترتيب، مع الاستفادة من الإعدادات الرسمية فقط في تفاصيل تنفيذية أخرى مثل طريقة حساب idf.  

(٤) طرق وتقييمات التجارب والمؤشرات  

في أنظمة البحث عن المعلومات، يُستخدم الرمز “K” للإشارة إلى عدد النتائج التي يتم عرضها للمستخدم بعد كل عملية بحث، أي K نتائج على الأكثر. هذا الإعداد يحدد نطاق تصفح المستخدم، وهو معيار مهم في مؤشرات الأداء لأنواع مختلفة من أنظمة البحث (مثل دقة@K، تكرار@K، NDCG@K، إلخ). من أجل تقييم أداء نظام البحث بشكل أكثر دقة، قدمت هذه الدراسة طريقتين للتقييم: K الثابت وK الديناميكي. يتم تحديد K الثابت كقيمة ثابتة (مثل K=10 وK=20)، وذلك لتمثيل الحالة التي يقرأ فيها الطالب أو المعلم الصفين الأولين من النتائج، وهذا الإعداد يساعد في تقييم ما إذا كان النموذج يمكنه الحصول على المزيد من الوثائق ذات الصلة في ظروف الإضاءة المحدودة. يتم تحديد هذه القيمة بناءً على عادات المستخدم في التصفح. من تجارب المستخدمين، يتضح أن معظم المستخدمين يقرأون النتائج من الرقم 10 إلى 20 فقط، وفي هذه الحالة، يكون تقييم نموذج البحث Top-K منطقيًا. أما بالنسبة لK الديناميكي، فإنه يتم تحديده بناءً على عدد الوثائق ذات الصلة في كل مهمة بحث، ويتم اختيار K كمجموع 0.8، 1.0، 1.2، 1.4، و1.6 من عدد الوثائق ذات الصلة (يُرمز إليه بـ K_ratio)، وهذا يساعد في تجنب مشكلة عدم توازن التقييم بسبب قيمة K الكبيرة أو الصغيرة. على هذا الأساس، يتم تقديم مقارنة بين النماذج المختلفة للأعمال البحثية المختلفة الحجم أو الصعوبة، بالإضافة إلى التغيرات الديناميكية في معدلات التحقق من الصحة والمعدلات من التحقق من الدقة.  

لتقييم أداء النماذج المختلفة في عمليات البحث عن المقالات باللغة الإنجليزية بشكل أكثر دقة، اخترنا العديد من مؤشرات تقييم البحث عن المعلومات الرئيسية. معدل الدقة (Precision) يقيس النسبة المئوية للوثائق ذات الصلة بين النتائج التي يرجعها النظام، وهو يعكس كفاءة المستخدم في الحصول على وثائق عالية الجودة؛ أما معدل الاسترجاع (Recall) فيعبر عن النسبة المئوية للوثائق ذات الصلة التي تم العثور عليها بنجاح من قبل النظام، وهو يعكس قدرة النظام على العثور على جميع الوثائق ذات الصلة؛ نقطة F1 هي متوسط معدل الدقة ومعدل الاسترجاع، ويُستخدم لقياس التوازن العام بين قدرة النظام على العثور على جميع الوثائق ذات الصلة ومعدل الدقة. المعدل المتوسط للدقة (Mean Average Precision, MAP@K) يقيس جودة ترتيب النموذج لجميع الاستعلامات: بالنسبة لاستعلام واحد، يتم حساب معدل الدقة لكل وثيقة ذات صلة، ثم يتم حساب المتوسط، وأخيرًا يتم حساب المتوسط لجميع الاستعلامات. نقطة NDCG@K تقيس ما إذا كانت الوثائق ذات الصلة تظهر في المقدمة، وهو ما يتوافق مع توقعات المستخدمين.  

(5) إجراءات التجربة  

لتقييم مدى ملاءمة وفعالية نماذج البحث عن المعلومات المختلفة في مهمة استرجاع نماذج الكتابة باللغة الإنجليزية، تم تصميم عملية التجربة التالية في هذه الدراسة:  

تحضير بيانات التجربة: تم تنزيل مجموعة بيانات مهمة لاختبار التدوين في اختبار IELTS، الفقرة رقم 2، من HuggingFace، وتم اختيار الألفين الطويلة من السجلات، كما تم تنظيف النص بشكل مناسب. بعد ذلك، تم تطبيق خطوات التحضير المشتركة مثل تنظيف النص، تقسيم الكلمات، إزالة الكلمات غير المفيدة والعلامات التشكيلية.  

تكامل نماذج التحسين: تم تكامل نموذج البحث BM25 من مكتبة rank-bm25، ونموذج البحث Word2Vec-Cosine الذي يعتمد على Gensim وsklearn، ونموذج البحث Sentence-BERT الذي يعتمد على مكتبة sentence-transformers، بالإضافة إلى نموذج البحث Elasticsearch الذي يعتمد على واجهة elasticsearch-py والفهرس الخلفي. نظرًا لاختلاف مبادئ عمل النماذج الأربعة المختلفة، ولتسهيل مقارنة أداءها، تم تصميم نموذج تحسين عشوائي (RandomIR)، حيث يتم إرجاع قائمة من K ملفات عشوائية في كل مرة، دون أخذ الاعتبار لأي علاقة بين الاستعلام والملفات. تم كتابة جميع النماذج بلغة Python، وتم تنفيذ وظائف مثل التحسين المتعدد النماذج، وإرجاع الملفات الناتجة بعد ترتيبها، مما يسمح بتغيير طريقة البحث بسهولة وفي الوقت المناسب.  

إعداد وتنظيم مهام البحث: يتم تصميم التجربة باستخدام مواضيع كتابية كمصدر للطلبات البحثية، وذلك لتمثيل سيناريو البحث الفعلي من قبل المستخدمين. ولتقليل تأثير التباين الناتج عن حجم واحد للبيانات، تم تحديد 5 استعلامات مختلفة، وعدد المقالات التي تستوفي المعايير الصحيحة هو: 200، 112، 63، 22، 397 مقالًا. تم توزيع هذه المقالات بشكل متدرج، وتم تقسيمها بشكل عشوائي إلى جزأين، أي 80% و20% من البيانات التدريبية والاختبارية على التوالي. وأخيرًا، تم تحليل أداء مهام البحث باستخدام حجمين مختلفين للبيانات الصحيحة، من أجل ضمان مصداقية نتائج التجربة، وذلك لتمكين تقييم النموذج من تحديد تأثير حجم البيانات على أداء مهام البحث.  

4. مقارنة النماذج المختلفة وتقديم النتائج: تم إجراء التجارب على جميع النماذج على منصة وبيانات موحدة، وتم تقديم بيانات مفصلة عن أداء البحث تحت مختلف معايير التقييم وقيم K، كما تم رسم الرسوم البيانية اللازمة لتسهيل المقارنة الأفقية والتحليل الشامل.  

ثالثًا، نتائج التجربة، التحليل والمناقشة  

(1) نتائج تجارب K الديناميكية وتحليلها  

في ظل إعداد K المتغيري عند k_ratio=1 (أي أن K يمثل عدد العلامات الحقيقية لكل استعلام)، كانت قيمة MAP (Mean Average Precision) لخمسة نماذج مختلفة على خمس مجموعات من الاستعلامات تختلف بشكل واضح. أما RandomIR، فكانت قيمة MAP لها 0.01 فقط، مما يعني أن نتائج البحث لديه لا تتعلق إلا بالترتيب للوثائق ذات الصلة. أما Word2VecIR، فكانت قيمة MAP لها 0.64، وهو أقل بكثير من النماذج الرئيسية الأخرى. أما BM25IR وElasticsearch، فكانت قيمة MAP لكل منهما 0.86، مما يدل على موثوقية واستقرار النموذج في التحقق من المطابقة بين الكلمات والاستخدام الصناعي لـ Elasticsearch. أما نموذج Sentence-BERT، فكانت قيمة MAP لها 0.91، وهو أعلى بكثير من الطرق الأخرى، مما يدل على أن له ميزة واضحة في فهم الدلالات الشاملة وترتيب الوثائق. بشكل عام، فإن نموذج Sentence-BERT للدلالات العميقة يمتلك قدرة أفضل على ترتيب الوثائق ذات الصلة في مهمة البحث عن نصوص باللغة الإنجليزية، بينما يوفر BM25 وElasticsearch أداءً مستقرًا، أما Word2Vec، فإنه يعاني من بعض القيود في ظل مجموعات البيانات الصغيرة.  

باستثناء RandomIR، فإن متوسط قيم nDCG لجميع النماذج الأخرى يتجاوز 1، وذلك بسبب استقرارها، مما يدل على أن النماذج الرئيسية للبحث تستطيع أن تضمن ترتيب معظم الوثائق ذات الصلة في أول الصفوف الناتجة عن البحث، وبالتالي تحقق نتائج ترتيب مثالية. خاصة عند k_ratio=0.8، فإن قيم nDCG لـ BM25IR وElasticsearch وSentence-BERT تقترب من 1، مما يدل على أن دقة الترتيب وتجربة المستخدم محمية بشكل جيد. من خلال التحليل المفصل، يتضح أن nDCG لـ Sentence-BERT يظل في المقدمة دائمًا، ولا يختلف كثيرًا مع تغير k_ratio، مما يدل على قوة النماذج الدلالية العميقة في البحث عن النصوص. كما أن BM25IR وElasticsearch يظلان فوق 0.95، مما يعني استقرار وثبات النتائج. أما Word2VecIR، فإنه أقل من الثلاثة الأخيرين، لكنه أفضل بكثير من الطريقة العشوائية (RandomIR، حيث قيم nDCG تتراوح بين 0.05–0.1 فقط)، مما يثبت مزايا النماذج الرئيسية في ترتيب الوثائق ذات الصلة.  

تتغير نقاط F1 للنماذج المختلفة للبحث بشكل طفيف، لكن عندما يكون قيمة k_ratio = 1 لجميع النماذج، تكون دقة وعدد الإعجابات مثاليين، وتصل نقاط F1 أيضًا إلى الذروة. يبدو أن نقاط F1 لنموذج Sentence-BERT هي الأعلى، حيث تصل تقريبًا إلى 0.9، وهي عدة أضعاف النماذج الأخرى، لذلك يتمتع هذا النموذج بأداء شامل جيد في البحث عن النصوص. ومع زيادة k_ratio، تظهر نقاط F1 لغالبية النماذج اتجاهًا تناقصيًا، حيث انخفضت BM25IR وElasticsearch من 0.86 إلى حوالي 0.7، بينما يظل Word2VecIR على مستوى منخفض دون تجاوز 0.7. البحث العشوائي (RandomIR) يظل في موقع نقاط F1 منخفضة جدًا، ويُستخدم فقط كخط أساس دنيا. من هذا يمكن معرفة أن قيم k_ratio المناسبة (مثل k_ratio=1) تظهر بشكل أكثر واقعية أداء النماذج البحثية، دون أن تؤدي زيادة دقة البحث إلى انخفاض دقة البحث.  

مع زيادة قيمة k_ratio، يقل دائمًا دقة النماذج المختلفة (Precision)، بينما يزداد معدل الاسترجاع (Recall) تدريجيًا، مما يعكس العلاقة المتوازنة بينهما في مهمة البحث. ومن الجدير بالذكر أن نموذج Sentence-BERT يحتفظ بالمكانة الريادة في جميع قيم k_ratio، حيث تصل دقة النموذج إلى 0.98 عند k_ratio=0.8، بينما يصل معدل الاسترجاع إلى 0.93 عند k_ratio=1.6. هذا الاتجاه يتوافق أيضًا مع نتائج نقاط F1 السابقة، مما يدل على أن النموذج يتمتع بميزة كبيرة في توازن دقة البحث مع كفاءة البحث الشاملة.  

بالإضافة إلى مقارنة نتائج الترتيب النهائي لكل النماذج، قمنا أيضًا بعرض منحنيات PR وقيم AUC لكل النماذج. منحنيات PR تُظهر نسبة المستندات ذات الصلة التي يتم العثور عليها في كل نموذج، أي قيمتها تحت مستويات الاسترجاع المختلفة. كما تم حساب قيم AUC لكل نموذج، وهو ما يعكس قدرة النموذج على البحث بشكل عام. كلما كانت قيمة AUC أكبر، فهذا يعني أن النموذج قادر على العثور على المستندات ذات الصلة في مرحلة معينة، ويحافظ على معدل دقة عالٍ؛ وعلى العكس، إذا لم يتم العثور على المستندات ذات الصلة في مرحلة معينة، فإن أداء البحث في تلك المرحلة سيكون ضعيفًا. عندما يتم تحقيق هذا الشرط في جميع المراحل، فهذا يعني أن النموذج قادر على العثور على المستندات ذات الصلة في نطاق معين، ويحافظ على معدل دقة عالٍ. من النتائج، يتضح أن قيمة AUC لنموذج Sentence-BERT هي الأعلى، وهي 0.14، ويمكنه أداء أداء جيد في جميع مستويات العتبات المختلفة، بينما قيمة AUC لنموذج RandomIR هي 0.004 فقط، وهي أقل بكثير من النماذج الرئيسية الأخرى.  

(٢) نتائج تجارب K الثابتة وتحليلها  

أما تقييم K الثابت، فهو يتم باستخدام قيم K=10 وK=20 لتقييم أداء النماذج المختلفة في عملية استرجاع النصوص التي تُستخدم في محاكاة الأشخاص الحقيقيين. كما تم مقارنة أداء النماذج المختلفة في ظروف استرجاع النصوص التي تُستخدم في محاكاة المستخدمين الحقيقيين، وكانت النتائج أن النماذج الرئيسية الثلاثة، وهي BM25IR وSentence-BERT وElasticsearch، حققت جميعها نتيجة 1.00 في معيارين: Precision@10 وnDCG@10. وهذا يدل على أن هذه النماذج قادرة على استرجاع جميع النصوص ذات الصلة في الإصابة العاشرة؛ أما نموذج Word2VecIR، فقد حقق معيارين جيدين أيضًا (Precision@10: 0.88، nDCG@10: 0.89)؛ أما نموذج RandomIR، فكانت نتائجه في جميع المعايير منخفضة.  

عندما ارتفع العتبة إلى K=20، استمرت نتائج BM25IR وSentence-BERT وElasticsearch في الحفاظ على أداء عالٍ في البحث (بمتوسط دقة @20 يبلغ 0.97–1.00، ومتوسط nDCG@20 يبلغ 0.98–1.00)، مع انخفاض طفيف فقط مقارنة بـ K=10. ارتفعت قيمة MAP@20 لجميع النماذج (BM25IR: 0.30، Sentence-BERT: 0.31، Elasticsearch: 0.29)، لكنها لا تزال أقل بكثير من قيمة Precision وnDCG. ويرجع ذلك إلى أن عدد النصوص ذات الصلة في بعض الاستعلامات يزيد كثيرًا عن قيمة K، مما يؤدي إلى انخفاض قيمة MAP، لأن القاسم المشترك للنتائج هو عدد جميع النصوص ذات الصلة. في حالة Word2VecIR، انخفضت جميع المؤشرات عند K=20 (Precision@20: 0.86، nDCG@20: 0.87، MAP@20: 0.16)، بينما كانت RandomIR تظهر أداءً سيئًا للغاية. من الضروري الإشارة إلى أن النماذج الرئيسية تظهر أداءً مثاليًا في مؤشرات Precision وnDCG، لكن قيمة MAP لا تزال أقل بكثير بسبب الإعدادات الثابتة لقيم K وتوزيع النتائج. هذا يدل على أنه عندما يزيد عدد النصوص ذات الصلة كثيرًا عن قيمة K، فإن MAP ستكون قريبة من 1 فقط عندما تكون معظم النصوص ذات الصلة في المقدمة. بشكل عام، أظهرت BM25IR وSentence-BERT وElasticsearch قدرة عالية على البحث عن النصوص ذات الصلة، بينما كانت Word2Vec أقل استقرارًا في المؤشرات المتعلقة بالترتيب. هذا الاختلاف يؤكد فعالية استراتيجيات البحث المعقدة في البحث عن النصوص ذات الصلة في الأوراق الأكاديمية.  

(٣) مناقشة نتائج التجربة  

استخدمت هذه الدراسة طريقتي التقييم K الديناميكي وK الثابت، وقارنت بشكل نظامي أداء نماذج البحث المختلفة في مهمة استرجاع نماذج الكتابة باللغة الإنجليزية. أظهرت نتائج التجربة أن نموذج Sentence-BERT يتفوق بشكل ملحوظ على النماذج الأخرى في معظم المؤشرات، سواء كان ذلك في MAP أو nDCG أو F1، حيث يقوم بتصنيف الوثائق ذات الارتباط العالي في الصفوف الأمامية بشكل مستقر، ويعبر عن قوة مقاومة عالية تحت إعدادات عتبات مختلفة. BM25 وElasticsearch يتمتعان بمزايا معينة في مطابقة الكلمات الرئيسية والتحسينات في كفاءة البحث، وفي حين أن الموارد الحاسوبية محدودة، فإن نتائج التجربة تظهر أنهم لا يزالون يحققون دقة عالية في البحث، ويمكن استخدامهم في سياقات تطبيقية حيث الموارد محدودة أو المطلوبة كفاءة عالية؛ بينما يعاني نموذج Word2Vec من قيود في حجم بيانات التدريب وقدرة التعامل مع الكلمات المتعددة الأركيز، وبالتالي فإن أداؤه ضعيف نسبيًا تحت ظروف التجربة الحالية. تحت تقييم K الديناميكي، اكتشفت الدراسة أنه من خلال تعديل قيمة K، يمكن فحص توازن النماذج المختلفة بين دقة البحث واكتمال البحث بشكل شامل، وتشير نتائج التجربة أيضًا إلى أن تحديد قيمة K الديناميكي بشكل مناسب يمكن أن يساعد في التقييم على مستوى النظام. في تجارب K الثابت، من أجل التقريب من سيناريو البحث الفعلي للمستخدمين، تم ضبط K إلى 10 و20، وتم مراقبة أداء النماذج المختلفة. BM25IR، Sentence-BERT و Elasticsearch وصلت درجاتها إلى تقريب 1.0 في مؤشرات Precision@K و nDCG@K، مما يسمح بتصنيف المستندات ذات الصلة في المقدمة بشكل مستقر. مع زيادة قيمة K، تزداد مؤشرات التصنيف الحساسة مثل MAP بشكل واضح، لكن بسبب عدد المستندات ذات الصلة التي تتجاوز قيمة K، يكون درجة MAP أقل من Precision و nDCG. أداء نموذج Word2Vec انخفض أكثر في هذا التقييم، مما يعكس حساسيته للمعلومات التدريبية والمشاكل المتعلقة بالغموض الدلالي. بشكل عام، يُظهر هذا النتيجة أنه في السيناريوهات العملية اليومية أو عندما لا تتطلب الدقة في البحث تحديات كبيرة، يمكن لنماذج البحث الرئيسية تحقيق نتائج مثالية، ويمكن اختيار النماذج المختلفة بناءً على الاحتياجات الخاصة وموارد النظام.  

يظهر نموذج Sentence-BERT قدرة استثنائية على فهم الدلالات العميقة، حيث يمكنه التقاط المعنى بدقة في النصوص المعقدة وتحقيق استرجاع فعال. أشار ريمرز وجوريفيتش (2019) إلى أنه، أثناء إنتاج متجهات الجمل عالية الجودة، يمكنه تقصير وقت الاستجابة لاسترجاع الدلالات على نطاق واسع بشكل كبير. هذه الأداءات تجعله مناسبًا جدًا لأعمال التعليم التي تتطلب فهمًا دقيقًا للدلالات، مثل التوصيات الشخصية، المساعدة في الكتابة الذكية، وتقديم نماذج تعليمية متقدمة، لكنه يتطلب موارد حاسوبية أكبر، مما يجعله مناسبًا للنشر في بيئات ذات ظروف hardware أفضل. نماذج الاسترجاع التقليدية مثل BM25 وElasticsearch لا تزال لها قيمة تطبيقية كبيرة في الأنظمة التعليمية بفضل قدرتها المستقرة على مطابقة الكلمات الرئيسية واستهلاكها المنخفض للموارد. في اختبارات المعيار BEIR، يعتبر BM25 نقطة أساس لاسترجاع بدون عينات، ويظهر أداءً أفضل من معظم نماذج الاسترجاع النادرة والكثيفة في مهام استرجاع المستندات متعددة المجالات، مما يظهر فائدته العملية واستقراره. لذلك، في السياقات التي تتطلب كفاءة واستقرار النظام مثل فهرس أسماء الدورات، تحديد الكلمات الرئيسية في الكتب الدراسية، أو استرجاع الموارد التعليمية بسرعة، قد يكون BM25/Elasticsearch خيارًا أكثر ملاءمة. يمكن لنموذج Word2Vec أن يقيس بشكل فعال التشابه الدلالي بين الكلمات، ويحتوي نظريًا على إمكانية توسيع التنوع في التعبير، وهو مناسب للأعمال المساعدة مثل التحرير التلقائي. لكن الدراسات أظهرت أنه عندما يكون حجم البيانات المستخدمة في التدريب محدود أو السياق معقد، فإنه يؤدي إلى إنتاج متجهات كلمات ذات جودة منخفضة، مما يؤدي إلى عدم دقة المعنى ومشاكل التشابه الزائف (مثل خلط معنى كلمة “bank” في سياقات مختلفة، أو التعرف الخاطئ على كلمتي “cat” و”chair”). لذلك، يُعتبر Word2Vec أداة مساعدة أكثر ملاءمة في نظام تعليم الكتابة، ويجب استخدامه بحذر مع بيانات كبيرة ومتنوعة واحتياجات المهمة. وبناءً على ما سبق، لكل نموذج نقاط قوة مختلفة: Sentence-BERT مناسب للفهم الدقيق للمعنى والنصائح الذكية؛ BM25/Elasticsearch يلبي متطلبات البحث عن الكلمات الرئيسية والكفاءة؛ وWord2Vec يمكن أن يكون أداة تكميلية في مهام التعبير المتنوع.  

٤. تلخيص الحالات  

(1) استنتاجات البحث  

خلافًا لمعظم الدراسات السابقة التي تقيس أداء مسار تقني واحد، تقارن هذه الدراسة أربعة نماذج شائعة لاسترجاع نماذج الكتابة بالإنجليزية: BM25 وWord2Vec وSentence-BERT وElasticsearch. حقق نموذج Sentence-BERT، المبني على بنية المحوّل Transformer، أفضل النتائج في جميع المقاييس. فقد التقط العلاقات الدلالية العميقة بين الوثائق بدقة أكبر، وحافظ على أداء مستقر سواء أكان الاستعلام عنوان الموضوع أم النص الكامل. أما الطريقتان التقليديتان BM25 وElasticsearch، القائمتان على الكلمات المفتاحية والفهرسة المعكوسة، فقد قدمتا أداءً مستقرًا عند شح الموارد الحاسوبية أو حين تكون مطابقة الكلمات المفتاحية هي الأولوية. لكنهما لا تدعمان الاسترجاع الدلالي مباشرة، ويصعب استخدامهما لدعم مهام الكتابة الأساسية عند نقص بيانات التدريب. ويتطلب نموذج Word2Vec قدرًا كبيرًا من بيانات التدريب. ونظرًا لصغر مجموعة النصوص المستخدمة في التجربة، كان أداؤه أضعف من Sentence-BERT في تمييز الكلمات متعددة المعاني ومطابقة المعاني المركبة. ويشير ذلك إلى حاجة هذه النماذج إلى بيانات كبيرة وعالية الجودة عند استخدامها فعليًا. ومن الناحية التعليمية، كان أداء النماذج الأربعة جيدًا في الاسترجاع الذكي لنماذج الكتابة. ويمكن استخدام Sentence-BERT عندما تكون جودة النصوص المسترجعة أولوية وتتوفر قدرة حاسوبية كافية، ليستفيد المعلمون والطلاب من نماذج أفضل. ويمتاز BM25 وElasticsearch بسهولة التشغيل وسرعة الاستجابة وقلة متطلبات العتاد، مما يجعلهما مناسبين للاسترجاع التعليمي واسع النطاق والبحث اليومي ومهام الكتابة الأساسية. ويحقق Word2Vec قدرًا من الاسترجاع الدلالي ضمن حدود الموارد المتاحة. وينبغي اختيار النموذج بناءً على قدرات المنصة الحاسوبية ومتطلبات التطبيق والمدة المتاحة للتطوير، لتحقيق توازن بين الأداء وسرعة الاستجابة. وتبين الدراسة مزايا نماذج الشبكات العصبية في الاسترجاع الذكي لنماذج الكتابة بالإنجليزية، وتقدم أساسًا لاختيار النماذج بحسب السياق وتحسين أدوات دعم الكتابة. ويخطط الباحثون لتجربة دمج عدة نماذج وربطها في نظام متكامل لدعم التحول الرقمي والذكي في تعليم الكتابة بالإنجليزية.  

(٢) القيود  

على الرغم من أن نظام البحث قد قارن بين عدة نماذج للبحث عن المعلومات في كتابة اللغة الإنجليزية، إلا أن هناك بعض القيود: أولاً، مجموعة البيانات المستخدمة حالياً تتضمن توزيعاً غير متساوٍ للموضوعات، ووجود مواضيع نادرة، مما قد يجعل قدرة النماذج الحالية على التنبؤ بالموضوعات التي يفضلها النموذج ضعيفة، أما بالنسبة للموضوعات النادرة أو المتعددة، فإن دقة البحث عن المقالات تكون أقل؛ ثانياً، تقييم الارتباط الحالي يتم فقط بناءً على توافق العلامات، ولا يعكس صحة المقال أو تنوع الموضوعات أو التنوع الدلالي، ولا يوجد معيار موثوق حالياً، ناهيك عن استخدام علامات التوافق في اختيار المقالات؛ في النمذجة، تم استخدام مقياس الارتباط MAP وNDCG، لكن في حالة وجود عدد قليل من المقالات ذات الارتباط العالي وطول مختلف للمقالات، فلا يمكن قياس فعالية النموذج بشكل كامل؛ فيما يتعلق بتحسين الخوارزميات، يجب الاستمرار في البحث عن طرق لتحسين الخوارزميات وفعالية النماذج، وتحسين جودة الكتابة واستخدامات التدريس؛ كما أن حجم العينات المستخدمة في تحليل حساسية المعلمات محدود.  

(٣) آفاق المستقبل  

لقد أثبتت هذه الدراسة فعالية نماذج البحث عن المعلومات الرئيسية في استرجاع نماذج الكتابة باللغة الإنجليزية، لكن يمكن دراسة هذا الموضوع من جوانب أخرى في المستقبل: أولاً، زيادة حجم البيانات، وتوسيع مصادر البيانات؛ ثانياً، استخدام نماذج أخرى على أساس النموذج المختار، لفحص طرق دمج النماذج المختلفة لتحسين أداء النموذج في استرجاع المعاني المعقدة والعبارات المتنوعة؛ ثالثاً، دراسة تأثير طرق التحضير للمخطوطات مثل استعادة الشكل الكامل للكلمات، واستخلاص جذور الكلمات، ومعالجة الكلمات غير المستخدمة على أداء النموذج؛ وأخيراً، أخذ في الاعتبار عادات واهتمامات المستخدمين، حتى يمكن للنظام أن يتكيف بشكل أفضل مع بيئات التعليم الحقيقية، وتحسين النظام من خلال التغذية الراجعة، واستخدام موارد البيانات للتوسيع من وظائف النظام. مع تطور تقنيات الذكاء الاصطناعي ومعالجة اللغة الطبيعية، سيتم تطوير نظام استرجاع النماذج الكتابية لتعليم الكتابة باللغة الإنجليزية تدريجياً.