شعار

الأتمتة بدون إمكانية المراقبة أمر غير مسؤول.

25 ديسمبر 2026

النظام الآلي الذي يستحيل معرفة ما فعله، ومتى، وبأي بيانات، ولماذا، لا يُدار، بل يُدعم. ويتضح الفرق جلياً عندما يحدث خلل ما، وعندها يستحيل إعادة بناء ما حدث: فالبيانات الضرورية لم تُحفظ لأن أحداً لم يقرر حفظها.

ربما يكون هذا هو العيب التصميمي الأكثر انتشارًا في أنظمة مكونات الذكاء الاصطناعي التي نقوم بمراجعتها، وهو الأقل تكلفة لتجنبه إذا تمت معالجته في وقت مبكر.

ما الفرق بين المراقبة والملاحظة؟

تعني المراقبة التحقق من أن النظام يعمل بشكل سليم: يستجيب، ولا يُنتج أخطاء، وأن زمن الاستجابة مقبول. إنها ضرورية، ولكنها غير كافية.

تتيح لك الملاحظة الإجابة عن أسئلة لم تكن تتوقعها. لماذا حُلّت هذه الحالة تحديدًا بهذه الطريقة؟ ما هو إصدار النموذج المستخدم يوم الثلاثاء الماضي؟ كم مرة اضطر النظام لإعادة المحاولة قبل الاستجابة؟ ما هي نسبة اقتراحات الموظف التي يتم تصحيحها قبل الموافقة عليها؟.

يُعدّ هذا التمييز بالغ الأهمية، لا سيما مع المكونات الاحتمالية، إذ قد يكون نظام الذكاء الاصطناعي سليمًا تمامًا من حيث البنية التحتية - خالٍ من الأخطاء، وزمن استجابة منخفض، وتوافر كامل - ومع ذلك يُنتج نتائج أسوأ تدريجيًا. لا ترصد لوحة المراقبة التقليدية ذلك، بل تُظهر كل شيء باللون الأخضر.

لقد قمنا بتطويره بمزيد من التفصيل في قابلية الملاحظة في نموذج LLM، وهو المقياس الذي لا يقيسه أحد

الطبقات الخمس التي يجب تسجيلها

طبقة

ما يتم تسجيله

ما الغرض منه؟

مدخل

ما هي البيانات وما هو السياق الذي تلقاه النظام؟

أعد إنتاج الحالة واكتشف البيانات الشاذة

قرار

ماذا أنتج النموذج، وبأي إصدار، وبأي تكوين؟

اشرح النتيجة واكتشف الانحراف

فعل

ما الذي تم تشغيله فعلياً على أي نظام؟

التدقيق، والإلغاء، والمسؤولية

تصديق

من قام بمراجعته، وما الذي تغير، ومتى؟

قياس الجودة الفعلية وضمان الإشراف البشري

يكلف

الاستهلاك عن طريق التنفيذ وعن طريق دراسة الجدوى

التحكم في تكلفة الوحدة على نطاق واسع

تُعدّ طبقة التحقق من صحة البيانات الأكثر إهمالاً، مع أنها الأكثر قيمة. فتسجيل ما صحّحه الشخص قبل الموافقة يحوّل الإشراف البشري إلى تدفق بيانات حول جودة النظام. وبدون هذا السجل، تكون شكوى العميل هي المؤشر الوحيد المتاح، والتي تصل متأخرة ومتحيزة.

تُعدّ تكلفة التنفيذ ثاني أكثر الجوانب التي يتم إغفالها. فنظام الذكاء الاصطناعي له تكلفة متغيرة لكل عملية تنفيذ، وهو أمر غير معتاد في برامج المؤسسات. إذا لم يتم تتبع هذه التكلفة من خلال دراسة جدوى، فمن المستحيل معرفة ما إذا كانت العملية المؤتمتة مربحة، وهذا السؤال يُطرح دائمًا، عادةً خلال مراجعة ميزانية الربع التالي.

المقاييس الأربعة التي تهم اللجنة

تُستخدم المؤشرات التقنية - زمن الاستجابة، والرموز المميزة، ومعدل أخطاء واجهة برمجة التطبيقات - من قِبل الفريق التشغيلي. أربعة منها فقط ذات صلة باللجنة التوجيهية:

لم يتغير معدل القبول. ما هي نسبة المقترحات التي يوافق عليها النظام كما هي؟ هذا هو مؤشر الجودة الأكثر دقة المتاح لأنه يعتمد على الاستخدام الواقعي، وليس على الاختبارات المعملية.

معدل التكيف البشري. ما هي نسبة الحالات التي لا يستطيع النظام حلها؟ يجب أن يكون لهذه النسبة قيمة مستهدفة: إذا كانت مرتفعة للغاية، فإن النظام لا يساهم؛ وإذا كانت صفرًا، فمن المحتمل أنه يحل حالات لا ينبغي له حلها.

تكلفة حل كل قضية. التكلفة الإجمالية مقسومة على عدد القضايا التي تم إغلاقها فعلياً، وليس على عدد المحاولات. هذا هو الرقم الذي تتم مقارنته بتكلفة العملية السابقة.

وقت اكتشاف العطل. كم من الوقت يستغرق الأمر حتى تدرك المؤسسة أن النظام ينتج نتائج غير صحيحة؟ إذا لم يقم أحد بقياس ذلك، فإن الإجابة الحقيقية عادة ما تكون "عندما يشتكي أحد العملاء".

يمكن عرض هذه المقاييس الأربعة على شريحة واحدة والإجابة على السؤال الوحيد الذي يهم مجلس الإدارة: هل هذا يعمل، وكم يكلف، وكم من الوقت يستغرقنا لمعرفة ما إذا كان سيتوقف عن العمل؟

تمت إضافة الحجة التنظيمية إلى الحجة التشغيلية

حتى وقت قريب، كان يتم الدفاع عن إمكانية التتبع على أسس هندسية. ومنذ عام 2025، ظهرت حجة ثانية، ويصعب دحضها في لجنة.

يشترط النظام الأوروبي للذكاء الاصطناعي، بالنسبة لبعض فئات الأنظمة، تسجيل الأحداث، والوثائق التقنية، والإشراف البشري الواضح. ويرتكز إطار إدارة مخاطر الذكاء الاصطناعي الصادر عن المعهد الوطني للمعايير والتكنولوجيا (NIST) على القدرة على القياس والمراقبة. ويتطلب معيار ISO/IEC 42001 تقديم دليل على الرقابة المستمرة لاعتماد نظام إدارة الذكاء الاصطناعي.

تتطلب الأطر الثلاثة جميعها الشيء نفسه، وإن اختلفت المصطلحات: القدرة على إثبات ما فعله النظام. فالنظام الذي لا يسجل إجراءاته لا يمكنه إثباتها، وإضافة هذه المعلومات لاحقًا يتطلب تعديل بنية النظام.

من المهم قول هذا بوضوح لأنه يغير ترتيب الأولويات: لم تعد إمكانية المراقبة مهمة تشغيلية، بل أصبحت متطلباً تصميمياً..

ماذا تفعل إذا كان النظام قيد التشغيل بالفعل بدون هذا؟

لا داعي لإعادة كتابته. المسار المعتاد يتكون من ثلاث خطوات ويمكن تنفيذه دون إيقاف العملية:

  1. قم بتنفيذ الإدخال والإجراء أولاً. هاتان هما الطبقتان اللتان تسمحان لنا بإعادة بناء الحادثة. وبذلك، يمكننا الإجابة على السؤال "ماذا حدث؟".
  2. أضف سجل التحقق. يتطلب الأمر تغييرًا بسيطًا في واجهة المراجعة، وينتج بيانات عالية الجودة ذات قيمة كبيرة.
  3. حدد عتبة التنبيه قبل الحصول على البيانات. ما هو معدل التصحيح أو التكلفة لكل حالة الذي يستدعي مراجعة؟ إن تحديد ذلك بعد مراجعة الأرقام يضمن تعديله بحيث لا يستدعي مراجعة أبدًا.

الخطأ الذي يجب تجنبه هو محاولة تطبيق كل شيء دفعة واحدة. فالنظام ذو الطبقتين المسجلتين جيداً أسهل بكثير في الإدارة من النظام ذي الخمس طبقات المسجلة جزئياً.

سؤال التحكم

قبل اعتبار مشروع الأتمتة مكتملاً، يُنصح بإجراء اختبار ملموس: اختر حالة عشوائية من ثلاثة أسابيع مضت واطلب منهم شرح ما حدث بالضبط.

إذا تمكن الفريق من إعادة بناء النظام - أي تحديد البيانات المُدخلة، وإصدار النموذج المُستخدم، والعمليات المنفذة، ومن قام بالتحقق منها - فإن النظام جاهز للعمل. أما إذا بدأ الرد بعبارة "علينا مراجعة السجلات، مع أنني لست متأكدًا مما إذا كنا نحتفظ بها"، فإن النظام قيد التشغيل ولكنه غير مكتمل.

الأسئلة الشائعة

ما هي إمكانية الملاحظة في نظام الذكاء الاصطناعي؟

إنها القدرة على الإجابة عن أسئلة غير متوقعة حول سلوك النظام: لماذا تم حل حالة معينة بطريقة محددة، وما هو إصدار النموذج المستخدم، وعدد محاولات إعادة الاتصال، أو نسبة المقترحات التي يتم تصحيحها. وهي تختلف عن المراقبة، التي تتحقق فقط من أن النظام متاح ومستجيب.

خمس طبقات: المدخلات (البيانات المستلمة والسياق)، القرار (مخرجات النموذج، الإصدار والتكوين)، الإجراء (ما تم تنفيذه وعلى أي نظام)، التحقق (ما قام المراجع بتصحيحه)، والتكلفة لكل عملية تنفيذ ولكل حالة عمل.

رابعًا: معدل القبول، ومعدل تصعيد المشكلات إلى فريق الدعم البشري، وتكلفة حل كل حالة، والوقت اللازم لاكتشاف الأعطال، كلها عوامل ثابتة. إن المقاييس التقنية مثل زمن الاستجابة أو استهلاك الرموز تخدم فريق العمليات، وليس قرارات العمل.

نعم. يتطلب النظام الأوروبي للذكاء الاصطناعي تسجيل الأحداث، والوثائق التقنية، والإشراف البشري الواضح لفئات معينة من الأنظمة. ويُركز إطار إدارة مخاطر الذكاء الاصطناعي التابع للمعهد الوطني للمعايير والتكنولوجيا (NIST) على إدارة المخاطر بناءً على القدرة على القياس والمراقبة، بينما يتطلب معيار ISO/IEC 42001 تقديم دليل على التحكم المستمر للحصول على الشهادة.

نعم، دون إعادة كتابته. الترتيب الأمثل هو تنفيذ المدخلات والإجراءات أولاً - مما يسمح بإعادة بناء الحادث - ثم إضافة سجل التحقق البشري وتحديد عتبات التنبيه قبل الحصول على البيانات، وليس بعدها.

لأن مؤشرات البنية التحتية (التوافر، زمن الاستجابة، الأخطاء) قد تكون جيدة بينما تتدهور جودة النتائج. لا تُقاس جودة المكون الاحتمالي بأدوات المراقبة التقليدية، بل بمقاييس الأداء القائمة على الاستخدام الفعلي.

 

هل يمكنك إعادة بناء ما فعله نظام الذكاء الاصطناعي الخاص بك قبل ثلاثة أسابيع اليوم؟ إذا كانت الإجابة غير واضحة، فمن الأفضل مراجعتها قبل أن يطرحها العميل أو المدقق. سنقوم بتحليل قضيتك خلال ساعتين، دون أي التزام. لنتحدث →

إدارة الصلاحيات والوصول لوكلاء الذكاء الاصطناعي في أنظمة المؤسسات
يقوم فريق الإدارة بتحليل مخاطر الهويات غير البشرية ووكلاء الذكاء الاصطناعي في أنظمة المؤسسة.