ما تقيسش جودة موظف AI بعدد الرسائل
لو المساعد رد على مئة محادثة بسرعة، ده لا يثبت إنه أجاب صح أو عرف إمتى يحوّل لموظف. بعد التشغيل، الفريق محتاج مراجعة دورية لعينة محادثات حقيقية، بمعايير واضحة تفرق بين الخطأ البسيط والخطأ الذي يضر العميل.
نشر NIST في 9 مارس 2026 تقريرًا عن تحديات مراقبة أنظمة AI بعد التشغيل، ومنها قياس الوظيفة الفعلية والتغيرات والأخطاء والتغذية الراجعة. التقرير إطار عام وليس دراسة عن نتائج شركات مصرية.
اختار عينة تكشف المشاكل مش عينة تجمّل النتيجة
راجع 20 محادثة أسبوعيًا كبداية افتراضية قابلة للتعديل، وليس معيارًا صناعيًا ثابتًا. خذ بعض المحادثات عشوائيًا، وبعضها من حالات عالية المخاطر مثل أسعار متغيرة أو شكوى أو طلب موظف بشري أو سؤال لا توجد له معلومة مؤكدة.
لو راجعت المحادثات التي انتهت بـ«شكرًا» فقط، غالبًا هتفوت الحالات الصعبة. وسجل سبب اختيار كل عينة عشان تقدر تفسر النتيجة.
Scorecard من خمسة محاور
صحة المعلومة: هل الإجابة مطابقة للمعلومات المعتمدة وقت المحادثة؟ هل اخترع سعرًا أو ميعادًا؟
فهم نية العميل: هل جاوب على السؤال الحقيقي ولا كرر رسالة ترحيب؟
الخطوة التالية: هل حدد إجراءً مفيدًا أو أوضح ما ينقصه من بيانات، بدون الضغط على العميل؟
التصعيد البشري: هل نقل الحالة عندما احتاجت قرارًا بشريًا؟ وهل سلّم ملخصًا يساعد الموظف؟
السلامة والوضوح: هل تجنب الادعاءات المضللة، واحترم حدود المعرفة وخصوصية العميل؟
لكل محور ضع حالة «مقبول»، «يحتاج تحسين» أو «خطأ حرج» مع ملاحظة قصيرة ودليل من النص. لا تختزل الأخطاء الحرجة في متوسط رقمي جميل.
مثال على خطأ لازم يوقف الرد
عميل سأل عن عرض انتهى أمس. المساعد أعطاه السعر القديم بثقة، ثم طلب منه الدفع. حتى لو باقي المحادثة ممتاز، ده خطأ حرج لأنه مرتبط بمعلومة تجارية قديمة وخطوة مالية.
التصرف المناسب: أوقف الاعتماد على هذه الإجابة، صحح مصدر المعرفة، اختبر أسئلة مشابهة، وراجع هل العملاء المتأثرون يحتاجون توضيحًا بشريًا. لا تعتبر تحديث قاعدة المعرفة وحده إثباتًا أن المشكلة اختفت.
دورة تحسين صغيرة
في نهاية كل أسبوع، اجمع الأخطاء المتشابهة. صنف السبب: معلومة ناقصة، قاعدة غير واضحة، فهم لغة العميل، أو تصعيد متأخر. غيّر عاملًا واحدًا بقدر الإمكان، ثم اختبر مجموعة ثابتة من الأسئلة بجانب محادثات جديدة. وثق تاريخ التغيير ونتيجته.
فرّق بين دقة الرد ونتيجة البيع. عميل قد لا يشتري رغم أن الرد صحيح، وقد يشتري رغم تجربة سيئة. قياس الجودة لا يجب أن يخلط الاثنين.
دور Mr. AI وحدوده
بحسب FAQ، يوفر Mr. AI ردودًا مبنية على معرفة الشركة وملخصات وتقارير وتحليلات مع تدخل بشري. يمكن للفريق استخدام السجلات المتاحة للمراجعة، لكن لا نزعم وجود Scorecard تلقائي جاهز أو نظام تقييم مطابق لهذا النموذج. هذا إطار تدقيق يدوي يمكن تطبيقه على أي مساعد.
لو لسه قبل التشغيل، ابدأ بـاختبار المساعد قبل Go-Live. ولو شغّال بالفعل، جرّب Mr. AI وراجع عينة من الردود مع فريقك.
المراجع: NIST: تحديات مراقبة أنظمة AI بعد النشر، مارس 2026؛ NIST AI RMF Measure.
