إن منح الصلاحيات لوكيل ذكاء اصطناعي ليس مجرد مهمة إعداد، بل هو قرار محفوف بالمخاطر يجب اتخاذه بنفس الدقة التي يُتخذ بها قرار تحديد من يملك صلاحية التوقيع على حساب مصرفي. فكل صلاحية إضافية تزيد من احتمالية الضرر، ولا يُعوّض هذا التوسع جودة النموذج، لأن الخطر لا ينبع من عيب في النموذج نفسه، بل من إمكانية التلاعب به أو ارتكابه أخطاءً ضمن النطاق الممنوح له.
الصيغة التي نستخدمها داخلياً بسيطة: لا يجوز للوكيل أن يتسبب في ضرر في مكان غير مصرح له بالتواجد فيه.. إن التصميم الأمني الكامل لنظام الوكلاء مستمد من تلك العبارة.
صنّفت منظمة OWASP، في قائمتها لأهم عشرة مخاطر تواجه تطبيقات نماذج اللغة لعام 2025، ثغرة الحقن الفوري في المرتبة الأولى للعام الثاني على التوالي، وخصصت فئة كاملة - LLM06، *الوكالة المفرطة* - لهذه المشكلة تحديدًا. وقد قسمتها إلى ثلاثة أشكال:
جميعها قرارات تصميمية، وليست عيوباً في النموذج. ويتم اتخاذها جميعاً في أغلب الأحيان خلال مرحلة التكامل، لأسباب تقنية ودون علم أي شخص في الشركة.
الرابط بين هذين النهجين هو حقن التعليمات غير المباشر: محتوى خارجي - كرسالة بريد إلكتروني، أو ملف PDF من مورد، أو صفحة ويب، أو تذكرة دعم عملاء - يحتوي على تعليمات موجهة إلى النموذج. يقرأ البرنامج هذا المحتوى كجزء من سياقه ويتصرف بناءً عليه. إذا كانت صلاحياته واسعة، فقد ينتهي الأمر بنص مكتوب من قِبل طرف ثالث بتنفيذ إجراءات داخل أنظمتك.
لهذا السبب، لا تُحل مشكلة سلامة العميل باختيار نموذج أفضل، بل بتقييد ما يمكن للعميل فعله عندما يتمكن شخص ما من التأثير عليه.
إليكم تغييرًا هيكليًا لم تُدرجه العديد من المؤسسات في إدارة الوصول لديها. على مدى عشرين عامًا، صُممت أنظمة التحكم في الهوية للأفراد: التعيين، وإنهاء الخدمة، والأدوار، والمراجعات الدورية. أما الآن، فتُنشئ البرامج هوياتٍ لا تمثل أفرادًا؛ تُنشأ في دقائق، ولا تظهر في الهيكل التنظيمي، ونادرًا ما تُراجع.
يقدم تقرير شركة IBM لعام 2025 حول تكلفة اختراق البيانات البيانات التي تختتم الحجة: افتقرت 97% من المنظمات التي تعرضت لحادث متعلق بالذكاء الاصطناعي إلى ضوابط وصول كافية.. ليست المشكلة في مدى تطور المهاجم، بل في سلامة نظام الصلاحيات.
لقد تناولنا هذا الموضوع بالتفصيل في الهويات غير البشرية، ووكلاء الذكاء الاصطناعي، والأمن السيبراني, لكن الخلاصة العملية هي كالتالي: إذا لم تتضمن عملية إدارة الوصول الخاصة بك هويات غير بشرية، فإن قائمة الوصول الخاصة بك غير مكتملة، وربما في الجزء الذي يمكنه القيام بأكبر قدر من العمل.
لا تتساوى جميع التصاريح في مستوى المخاطر. يتيح هذا التصنيف اتخاذ القرار خلال اجتماع مدته ثلاثون دقيقة.
مستوى | ما الذي يمكن أن يفعله الوكيل؟ | التحكم المطلوب |
1. قراءة محدودة | استعلام عن البيانات لنطاق محدد | تسجيل الوصول وحدود الحجم |
2. القراءة المكثفة | استشر أنظمة متعددة وبيانات حساسة | الصلاحيات القائمة على الأدوار، وإخفاء البيانات، والتدقيق |
3. الكتابة القابلة للعكس | إنشاء مسودات ومقترحات وسجلات معلقة | التحقق البشري قبل التأكيد |
4. الكتابة غير القابلة للعكس | المدفوعات، والتواصل مع العملاء، وتغييرات الإنتاج | الموافقة الصريحة، والرقابة المزدوجة، وخطة التراجع |
القاعدة العامة هي أن تتركز معظم قيمة الأعمال في المستويين 1 و3, وتكمن معظم المخاطر في الخطوة الرابعة. إن الوكيل الذي يقوم بإعداد طلب السداد ويتركه معلقاً في انتظار الموافقة يحقق تقريباً كل وفورات الوقت مع جزء صغير من مخاطر الوكيل الذي يقوم بتنفيذ طلب السداد.
عندما يُصرّ أحدهم على المستوى الرابع، فإن السؤال الصحيح هو: ما القيمة الإضافية التي يُقدّمها مقارنةً بالمستوى الثالث؟ عادةً ما تكون هذه القيمة الإضافية هي الوقت الذي يستغرقه الشخص للضغط على زر. ونادراً ما تُعوّض هذه القيمة ذلك الوقت.
هوية المرء من خلال الفاعل. لا يُسمح مطلقًا باستخدام حساب مشترك أو إعادة استخدام حساب خدمة موجود. فبدون هوية فريدة، لا توجد طريقة لتحديد مصدر ما حدث.
الحد الأدنى للبدل لكل مهمة، وليس لكل وكيل. إذا قام الوكيل بثلاث مهام مختلفة، فيجب أن يكون لكل مهمة نطاقها الخاص. فالإذن الممنوح لمهمة واحدة يصبح متاحًا لجميع المهام الأخرى.
أوراق اعتماد قصيرة الأجل. رموز تنتهي صلاحيتها، وليست مفاتيح دائمة في ملف التكوين.
قائمة الأسهم المسموح بها. حدد بوضوح العمليات التي يمكن تنفيذها، بدلاً من تحديد العمليات التي لا يمكن تنفيذها. فالأخير دائمًا ما يكون غير مكتمل.
حدود الحجم والكمية. ينبغي أن يكون لدى الوكيل المخوّل بإصدار المبالغ المستردة حدٌّ أقصى لكل معاملة ولكل يوم. وهذا هو نفس المبدأ الذي ينطبق على أي فرد لديه قدرة شرائية.
سجل كامل وغير قابل للتغيير. ما تم إدخاله، وما تم اتخاذه من قرارات، وما تم تنفيذه، وبأي إصدار من النموذج، ومن قام بالتحقق منه. بدون هذه المعلومات، لا يمكن إجراء تدقيق أو تقديم أي دفاع.
مفتاح الإيقاف. آلية لإيقاف الوكيل دون نشر التعليمات البرمجية ودون الاعتماد على البائع.
لا يُعدّ أيٌّ من هذه الإجراءات السبعة غير مألوف، فهي جميعها ممارسات أمنية قياسية تُطبّق على جهة فاعلة جديدة. لكنّ اللافت للنظر هو كثرة إغفالها تحديداً لأنّ الجهة الفاعلة جديدة ولا تتناسب مع الإجراءات القائمة.
يكمن خطر هذه المقالة في أنها قد تُقرأ على أنها دعوة للتقاعس عن العمل، وهذا ليس صحيحاً. النهج الناجح هو التوسع التدريجي.
هذا هو نفس مبدأ الإشراف المتدرج الذي نطبقه عند دمج مكونات الذكاء الاصطناعي في أنظمة المؤسسات، وهو السبب في أن الحوكمة ليست مرحلة نهائية من المشروع، بل هي سمة من سمات بنيته، كما أوضحنا في مخاطر الذكاء الاصطناعي، والهلوسة، والحوكمة
قبل الموافقة على أي عملية نشر للوكيل، يُنصح بالإجابة على هذا السؤال: إذا كان بإمكان شخص غريب كتابة النص الذي سيقرأه هذا العميل، فما هو أسوأ شيء يمكن أن يطلب منه القيام به؟
إذا كانت الإجابة "الرجوع إلى المعلومات العامة"، فإن المخاطرة مقبولة. أما إذا كانت الإجابة "إصدار دفعة" أو "مراسلة جميع عملائنا"، فإن التصميم غير مكتمل.
لأنها تحدد نطاق الضرر المحتمل. لا يمكن لأي وكيل أن يُلحق ضررًا في مكان غير مصرح له فيه، بغض النظر عن جودة النموذج أو ما إذا كان قد تم التلاعب به. وقد خصصت منظمة OWASP فئة مستقلة لهذه المشكلة ضمن أفضل عشرة تطبيقات في مجال القانون لعام 2025: الوكالة المفرطة.
وهو منح قدرة مفرطة لوكيل، بثلاثة أشكال: وظائف مفرطة (الوصول إلى أدوات لا تتطلبها مهمته)، وأذونات مفرطة (هوية بامتيازات أكثر من اللازم)، واستقلالية مفرطة (تنفيذ إجراءات ذات تأثير كبير دون التحقق البشري).
وهو منح قدرة مفرطة لوكيل، بثلاثة أشكال: وظائف مفرطة (الوصول إلى أدوات لا تتطلبها مهمته)، وأذونات مفرطة (هوية بامتيازات أكثر من اللازم)، واستقلالية مفرطة (تنفيذ إجراءات ذات تأثير كبير دون التحقق البشري).
سبعة: هوية فريدة وغير مشتركة، والحد الأدنى من الأذونات لكل مهمة، وبيانات اعتماد قصيرة الأجل، وقائمة بيضاء بالإجراءات المسموح بها، وحدود الحجم والمبلغ، وتسجيل كامل وغير قابل للتغيير لكل عملية تنفيذ، وآلية إيقاف لا تتطلب نشر التعليمات البرمجية.
يقتصر ذلك على الإجراءات القابلة للتراجع وذات التأثير المحدود، وبعد قياس نسبة المقترحات التي تُعتمد دون تغييرات على مدى فترة كافية. ويُعدّ إلغاء التحقق البشري بسبب ضغط الجدول الزمني السبب الأكثر شيوعًا للحوادث في الأنظمة الآلية.
على غرار ضوابط الوصول البشري، ولكن مع مزيد من الانضباط: تسجيل موثق، وتعيين مالك، وصلاحيات قابلة للمراجعة، وانتهاء صلاحية بيانات الاعتماد، ومراجعة دورية. وقد وثّقت شركة IBM في عام 2025 أن بروتوكول 97% الخاص بالمنظمات التي تواجه حوادث متعلقة بالذكاء الاصطناعي يفتقر إلى ضوابط وصول كافية.
هل تعرف بالضبط ما يمكن أن يفعله كل وكيل قمت بنشره؟ نقوم بمراجعة نطاق أنظمة الذكاء الاصطناعي الخاصة بك وهوياتها وأذوناتها وإمكانية تتبعها، ونقدم التشخيص كتابيًا. طلب التدقيق → |
Español Español 
English
Français
العربية
Português
Deutsch
Italiano
