قد يجيب مساعد الذكاء الاصطناعي بثقة عن رقم أو تاريخ أو مرجع لا وجود له. لا يكفي أن تبدو الفقرة سليمة لغوياً كي تكون صحيحة. يسمي إطار NIST للذكاء الاصطناعي التوليدي هذا النوع من المخاطر «الاختلاق» أو الهلوسة، وتوصي إرشادات تقييم النماذج باختبارات مخصصة للمهمة تجمع بين القياس والمراجعة البشرية. هنا نبني اختباراً صغيراً قابلاً لإعادة التنفيذ لمحتوى تعليمي أو إداري، من دون الادعاء بأن نتيجته تقيس كل قدرات النموذج.
1. عرّف الخطأ الذي تريد قياسه
افصل بين ثلاثة أمور: حقيقة قابلة للتحقق وردت خطأ، واستنتاج محتمل لكنه غير مثبت، وصياغة غير دقيقة لسؤال غامض. مثلاً إذا طلبت تلخيص عقد محدد وذكر المساعد تاريخاً لا يظهر في النص، فهذا ادعاء غير مسند حتى لو صادف أنه صحيح خارج العقد. وإذا سألته عن قرار إداري مستقبلي، فالجواب الجازم غير مبرر أصلاً. لا تجمع هذه الحالات كلها في خانة «هلوسة» واحدة ثم تتعامل مع النسبة كحقيقة علمية.
ضع قواعد قبول قبل تشغيل النموذج: يجب أن يقتبس الأرقام من الوثيقة، ويفصل الرأي عن المعلومة، ويقول «لا أملك دليلاً» حين يغيب المصدر. في مهام الحساب اطلب إظهار المدخلات والوحدات والنتيجة، ثم أعد الحساب بنفسك. في مهام الاستشهاد افحص أن الرابط موجود وأن الصفحة تسند الجملة فعلاً؛ وجود رابط حقيقي بجانب ادعاء خاطئ ليس توثيقاً. هذه المعايير تختلف باختلاف المهمة ولا يصح نقلها تلقائياً إلى الطب أو القانون.
2. ابنِ مجموعة اختبار صغيرة ومتوازنة
ابدأ بعشرين سؤالاً موزعة على أربع مجموعات متساوية: خمسة أسئلة عن حقائق ثابتة من وثائق رسمية، وخمسة عن استخراج قيم من نص تمنحه للمساعد، وخمسة مسائل حسابية بمدخلات صريحة، وخمسة أسئلة لا تتوفر لها معلومات كافية ويكون الامتناع المنضبط هو الإجابة المناسبة. اختر أمثلة قريبة من استخدامك الفعلي بدلاً من ألغاز عامة. احتفظ بالإجابة المرجعية ومكانها الدقيق وتاريخ مراجعتها في جدول مستقل قبل اختبار النموذج.
لإنشاء مثال حسابي واضح، افترض أن فاتورة تدريبية تتضمن ثلاث وحدات بسعر 80 ووحدتين بسعر 45، من دون ضرائب أو خصم. المجموع المرجعي هو 3×80 + 2×45 = 330 وحدة نقدية. اجعل سؤالاً آخر يتعمد إخفاء سعر الوحدة الثانية: الإجابة السليمة يجب أن تطلب السعر المفقود بدلاً من اختراعه. لا تستخدم بيانات عملاء حقيقيين أو أرقام حساباتهم في الاختبار، ولا تخلط الأمثلة الاصطناعية بوقائع منشورة.
3. نفّذ الاختبار بسجل أدلة قابل للتدقيق
أنشئ أعمدة: معرف السؤال، نوع المهمة، نص السؤال، الجواب المرجعي، رابط المصدر أو موضعه، جواب النموذج، الادعاءات الأساسية، الحكم، وسبب الحكم. ثبت نسخة النموذج والإعدادات والتعليمات وتاريخ التشغيل قدر الإمكان؛ فالنماذج قد تنتج إجابات مختلفة للمدخل نفسه. نفذ الجولة الأولى من دون تغذية النموذج بالإجابات المرجعية، ثم أعد الأسئلة الصعبة مرة ثانية لمعرفة هل الخطأ ثابت أم متغير. لا تغير صياغة السؤال أثناء المقارنة من دون تسجيل ذلك.
استخدم ثلاث علامات واضحة: صحيح ومدعوم، خاطئ أو مختلق، وغير قابل للحسم. إذا أعطى النموذج أربعة ادعاءات وكان أحدها غير موثق، فسجل الادعاء المختلف بدلاً من منح الإجابة كلها علامة نجاح لمجرد جودة أسلوبها. يمكن لمراجع ثان فحص عينة من النتائج من دون معرفة اسم النموذج لتقليل التحيز. إرشادات OpenAI للتقييم تنصح باختبارات واقعية محددة المهمة وبالاستفادة من أحكام البشر إلى جانب المقاييس الآلية.
4. احسب النتيجة من دون تضليل إحصائي
مثال توضيحي لمجموعة العشرين: 14 إجابة صحيحة ومدعومة، و4 إجابات خاطئة أو مختلقة، وإجابتان غير قابلتين للحسم. نسبة الإجابات الخاطئة ضمن جميع الأسئلة هي 4÷20 = 20%، ونسبة الصحيح 14÷20 = 70%، والباقي 10%. هذه أرقام مفترضة لتعليم طريقة الحساب، وليست نتيجة اختبار فعلي لأي منتج. لا تسمِّ 20% «معدل هلوسة النموذج» على إطلاقه، لأن اختيار الأسئلة وصياغتها يؤثران كثيراً على الرقم.
احسب أيضاً الأخطاء حسب الفئة: إذا وقعت الأخطاء الأربعة كلها في أسئلة المراجع، فهذا أخطر على محرر مقالات من توزيعها بالتساوي. راقب كذلك «الامتناع السليم» في الأسئلة الخمسة الناقصة المعلومات، ولا تعتبر كل رفض فشلاً. عند المقارنة بين نسختين استخدم المجموعة نفسها والتعليمات نفسها وراجع التغير في المصادر والتواريخ. العينة الصغيرة تكشف مشاكل عملية لكنها لا تعطي ترتيباً عاماً موثوقاً بين النماذج.
5. حوّل النتائج إلى ضوابط نشر ومراجعة
في تحرير المقالات، استعمل دفتر ادعاءات: كل تاريخ أو رقم أو خاصية منتج أو قاعدة قانونية يقابله مصدر أولي وتاريخ تحقق. إذا لم تجد دليلاً مستقلاً، احذف الجملة أو حوّلها إلى فرضية معلنة بوضوح. لا تعتمد على «المصدر الذي يقترحه النموذج» قبل فتحه ومراجعة نصه. عند تلخيص وثائق الشركة، اسمح للمساعد بتحديد مواضع تحتاج مراجعة لكن احتفظ باعتماد النتيجة النهائية لدى شخص مخول يفهم الوثيقة.
راجع الاختبار عندما تتغير نسخة النموذج أو تتبدل الوثائق أو تتوسع المهام. لا ترفع بيانات سرية إلى خدمة خارجية دون أساس قانوني وموافقة وضوابط ملائمة. ولا تستخدم نتيجة اختبار من عشرين سؤالاً لتقرير أهلية نظام لاتخاذ قرارات طبية أو مالية أو قانونية؛ تلك المجالات تحتاج تقييم مخاطر وخبراء وضمانات أقوى. الهدف العملي ليس التخلص نهائياً من كل خطأ، بل جعل الادعاءات قابلة للتتبع، والأخطاء مرئية، والتصحيح ممكناً قبل أن تصل إلى القارئ.
للمزيد من المصادر الرسمية
لا توجد طريقة تضمن الربح من الإنترنت أو الأسواق. النتائج تختلف حسب المهارة والظروف والتكاليف.
إخلاء المسؤولية ↗