العميل المصري مش داخل WhatsApp عشان يكتب لك: «أرغب في معرفة تفاصيل الباقة المتاحة».

الأقرب إنه يكتب: «الباقة دي فيها إيه؟» أو «طب لو اشتركت دلوقتي هيتحسب إزاي؟». وممكن يكتب عربي وإنجليزي في نفس الرسالة، أو يختصر، أو يغلط في الكتابة، أو يبعت ثلاث رسائل ورا بعض بدل سؤال مرتب.

وده مش تفصيل لغوي صغير. لو هتشغّل AI في محادثات العملاء، الاختبار الحقيقي مش: هل بيتكلم عربي؟ بل: هل يفهم عربي عملاءك فعلًا؟

«يدعم العربية» جملة أوسع مما تبدو

العربية الفصحى، والمصري، والخليجي، والمغاربي مش مجرد طرق مختلفة لكتابة نفس الجملة.

بحث AraDiCE المنشور في COLING 2025 بنى Benchmark للهجات والثقافة العربية، ووجد أن تحديات واضحة ما زالت موجودة في التعرف على اللهجات وتوليدها والترجمة بينها. الباحثون أنفسهم يشيرون إلى أن اللهجات العربية ما زالت أقل تمثيلًا في نماذج اللغة الكبيرة.
المصدر: ACL Anthology ، AraDiCE

وفي 2025 ظهر Shawarma Chats: Benchmark من 30 ألف محادثة من ست جولات، موزعة بالتساوي بين الفصحى والمصرية والمغاربية، ومبنية أصلًا لأن تقييم الحوار العربي المربوط بمحتوى موثوق ما زال قليل الموارد.
المصدر: ACL Anthology ، Shawarma Chats

المغزى للشركة بسيط: اختيار اللغة من قائمة Settings لا يساوي اختبار تجربة العميل.

جرّب الرسائل اللي فريقك بيشوفها فعلًا

قبل Go Live، هات عينة من محادثاتك القديمة بعد إزالة أي بيانات شخصية لا تحتاجها في الاختبار.

مش محتاج تخترع أسئلة مثالية. بالعكس، الأسئلة «المزعجة» هي المفيدة:

  • «هو العرض لسه شغال ولا خلص؟»
  • «طب ينفع ادفع جزء دلوقتي والباقي بعدين؟»
  • «ana kont kalemtko embare7 w 7ad 2aly…»
  • «عايز نفس اللي سألت عليه فوق بس فرع أكتوبر»
  • رسالة فيها Voice-note context كتبه الموظف بعدها في سطرين.
  • سؤال فيه اسم منتج مكتوب غلط.
  • عميل بدأ بالمصري ثم أكمل بالإنجليزي.

لو الاختبار كله مكتوب بفصحى سليمة، أنت بتختبر نسخة من العميل غير موجودة في الـInbox.

الفهم وحده مش كفاية؛ الرد نفسه ممكن يبقى غريب

فيه فرق بين إن الـAI يفهم «عايز أعرف الدنيا ماشية إزاي» وبين إنه يرد بطريقة مناسبة للسياق.

بحث نُشر في 2025 عن اللغة المجازية والثقافة وجد فجوة بين فهم التعبير واستخدامه بشكل طبيعي؛ الأداء في مهمة الاستخدام العملي انخفض في المتوسط 14.07% عن مهمة الفهم، وكانت تعبيرات المصري أصعب من الأمثال العربية في الاختبار.
المصدر: Beyond Understanding ، arXiv

ده لا يعني إن كل AI هيرد مصري بشكل سيئ، ولا إن النسبة دي Benchmark لخدمة العملاء. الدراسة تقيس مهمة لغوية محددة. لكنها تذكير مهم: Comprehension وTone حاجتان مختلفتان.

ممكن الرد يكون صحيح 100%، لكنه يقول للعميل المصري: «يسرني أن أوضح لحضرتكم التفاصيل المطلوبة» في كل رسالة. بعد خمس رسائل، التجربة تبدأ تحس إنها ماكينة حتى لو المعلومات سليمة.

اعمل Test Set صغير… لكن قاسي

بدل سؤالين Demo من نوع «ما مواعيد العمل؟»، ابنِ Test Set من 30 إلى 50 رسالة حقيقية تمثل الشغل.

قسّمه مثلًا إلى:

لغة طبيعية: مصري، فصحى بسيطة، English، وCode-switching.

كتابة غير مثالية: أخطاء إملائية، اختصارات، Arabizi، ورسائل متقطعة.

معرفة الشركة: أسعار، سياسات، فروع، مواعيد، استثناءات.

سياق: سؤال يعتمد على رسالة سابقة، تغيير رأي العميل، أو أكثر من طلب في نفس المحادثة.

حدود: معلومة غير موجودة، خصم غير مصرح به، شكوى، أو قرار يجب أن ينتقل لموظف.

وبدل Score واحد اسمه «نجح/فشل»، راقب أربع حاجات منفصلة: هل فهم المقصود؟ هل المعلومة صحيحة؟ هل الأسلوب طبيعي؟ وهل عرف إمتى ما يجاوبش من عنده؟

المعرفة الموثوقة أهم من اللهجة الحلوة

AI بيتكلم مصري بطلاقة ويقول سعر غلط أسوأ من AI لغته أبسط لكنه يستند إلى سعر شركتك الصحيح.

الاعتماد على معرفة الشركة لازم يتقاس في الاختبار: هل كل معلومة في الرد لها مصدر معتمد؟ لو السعر أو السياسة غير موجودين، الأفضل توضيح إن المعلومة تحتاج مراجعة، بدل تقديم إجابة تبدو واثقة لكنها غير موثقة.

في Mr. AI، الردود يمكن أن تستند إلى معرفة الشركة التي تضيفها أنت ، مثل الخدمات والأسعار والسياسات والأسئلة المتكررة ، ويمكنك اختبار الأسئلة ومراجعة الردود وضبط المعرفة والقواعد قبل الاعتماد عليها مع العملاء. دي قدرات منشورة حاليًا في الأسئلة الشائعة، وليست ادعاء بأن أي نموذج سيفهم كل لهجة أو كل صياغة بدقة كاملة.

اختبار اللهجة مش مرة واحدة

كل شهر هتظهر صياغات جديدة، منتجات جديدة، وعروض جديدة. وأحيانًا هتكتشف إن العملاء بيسألوا نفس السؤال بطريقة ما خطرتش على بالك.

خد الرسائل اللي احتاجت تصحيح بشري، والرسائل اللي فهمها النظام غلط، والأسئلة اللي ما كانش عندها مصدر واضح. أضفها للـTest Set وشغّلها مرة ثانية بعد أي تعديل مهم.

لو عندك 40 سؤالًا حقيقيًا، وبعد شهر بقوا 55 لأنك أضفت الحالات اللي كشفت مشاكل، فأنت مش «بتفشل» في الاختبار. أنت بتبني اختبارًا أقرب للواقع.

لو عايز تبدأ عمليًا، ابدأ التجربة وحط أول Test Set من لغة عملاءك الفعلية قبل ما تحكم على جودة الـAI من Demo مرتب.