يُحدد أمان النظام المدعوم بالذكاء الاصطناعي خلال مرحلة التصميم، أو لا يُحدد على الإطلاق: فما يُضاف في النهاية هو مجرد تخفيف جزئي لقرارات اتُخذت مسبقًا. إن وجود حاجز وقائي يُصفّي الاستجابات لا يُصلح نموذج صلاحيات مصممًا بشكل سيئ، تمامًا كما أن الدرابزين لا يُصلح الأساسات.
إن الفرق بين طريقتي العمل ليس فرقاً أمنياً، بل هو فرق في التكلفة، وهو فرق هائل: فما يكلفه محادثة لمدة ساعتين قبل البدء قد يكلف مشروعاً كاملاً لاحقاً.
قرار | إذا تم تناوله في البداية | إذا حاولت إضافته لاحقًا |
|---|---|---|
ما هي الهوية التي يستخدمها النظام للوصول إليه؟ | إعدادات | نموذج إعادة التكامل والأذونات |
ما هي الإجراءات التي يمكنك القيام بها؟ | القائمة مغلقة منذ البداية | تدقيق وتقييد التعليمات البرمجية الموجودة بالفعل في بيئة الإنتاج |
ما الذي يتم تسجيله لكل عملية إعدام؟ | الأجهزة منذ اليوم الأول | لا يمكن إعادة بناء الماضي |
فصل البيئات | هيكل المشروع | الهجرة معرضة لخطر الاضطراب |
مكان إقامتهم ومن يقوم بمعالجة البيانات | اختيار الهندسة المعمارية | إعادة التفاوض على العقود والهجرة |
يتميز الصف الثالث بخاصية تجعله باهظ الثمن بشكل خاص: لا رجعة فيه.. إذا لم يتم تسجيله، فهو غير موجود. عندما يسأل عميل أو مدقق حسابات أو محكمة عما فعله النظام قبل ثلاثة أشهر، فإن الإجابة لن تعتمد على الرغبة في التعاون، بل على قرار فني اتخذه شخص ما - أو لم يتخذه - قبل البدء.
من المهم توخي الدقة، لأن هذه المقالة قد تُفسَّر على أنها تنتقص من شأن الضوابط، وهو ما ليس صحيحاً. ففلترة المحتوى غير اللائق، والكشف عن أنماط التلاعب المعروفة، والحد من طول الردود، كلها إجراءات مفيدة.
ما يعجزون عنه هو احتواء الضرر الهيكلي. يعمل نظام الحماية على النصوص الداخلة والخارجة، لا على صلاحيات النظام. فإذا كان النظام مخولاً بمعالجة دفعة، فلا يوجد فلتر محتوى يمنع معالجة تلك الدفعة عندما يدفع النظام إلى اتخاذ هذا القرار.
التسلسل الهرمي الصحيح هو كالتالي:
الترتيب مهم. البدء بالنقطة 4 هو المعتاد لأن هذا ما يمكنك شراؤه؛ أما البدء بالنقطة 1 فهو الأنسب لأن هذا ما تقوم بتصميمه.
هذه هي الأسئلة التي نطرحها على أنفسنا قبل كتابة أي كود في أي مشروع يحتوي على مكونات الذكاء الاصطناعي:
بأي هوية يصل النظام إلى كل مصدر؟ الإجابة الصحيحة هي دائمًا تقريبًا: مع المستخدم، تم نشرها.
ما هي قائمة الإجراءات المغلقة التي يمكن تنفيذها؟ مُدرجة، وليست موصوفة. ما لم يُدرج لا وجود له.
ما هي الأفعال التي لا رجعة فيها، ومن الذي يُقرّها؟ المدفوعات، والاتصالات الخارجية، وتغييرات الإنتاج، وأي شيء يؤثر على بيانات الطرف الثالث.
ما الذي يتم تسجيله، وأين، وكم من الوقت؟ بتفاصيل كافية لإعادة بناء قضية محددة بعد مرور أشهر.
ما هي البيانات التي تدخل النظام وما هي البيانات التي يتم استبعادها بقرار صريح؟ إن عبارة "في حال احتجت إليها" هي أصل معظم المعارض.
كيف توقفه وكيف تعكسه؟ آلية لا تتطلب نشر التعليمات البرمجية أو الاعتماد على الموفر.
ستة أسئلة، اجتماع واحد. إنه التدخل الذي يحقق أفضل نسبة بين التكلفة والفائدة في المشروع بأكمله، وهو التدخل الذي يتم تخطيه أكثر من غيره لأن الجميع خلال الأسبوع يريدون رؤية شيء ما يعمل.
الحجة المعارضة هي نفسها دائماً وهي معقولة: هناك ضغط لإظهار النتائج، والأمن يبطئ الأمور.
إن الاستجابة المفيدة لا تكمن في اللجوء إلى المخاطر المجردة، بل في تقديم بديل ملموس: مدى وصول أصغر مع التصميم الكامل. بمعنى آخر، ليس الهدف هو تقليل الأمن للوفاء بالموعد النهائي، ولكن لتقليل النطاق الوظيفي والحفاظ على القرارات الستة سليمة.
يمكن توسيع نظام يؤدي ثلاث مهام بكفاءة، مع صلاحيات محدودة وإمكانية تتبع محدودة. أما نظام يؤدي ثلاثين مهمة دون تحكم، فيجب إعادة بنائه قبل توسيعه، وعندها يكون هناك بالفعل مستخدمون يعتمدون عليه.
التسرع ليس عدو السلامة، بل النطاق هو العدو.
يتعلق الأمر باتخاذ قرارات أمنية - مثل تحديد هوية الوصول، والإجراءات المسموح بها، وتسجيل البيانات، وفصل البيئات، ومكان تخزين البيانات - خلال مرحلة التصميم، وليس بعد الإنشاء. هذه القرارات غير مكلفة في البداية، لكن تعديلها مكلف للغاية بمجرد تشغيل النظام.
لتصفية المحتوى غير اللائق، والكشف عن أنماط التلاعب المعروفة، والحد من تنسيقات الاستجابة. لكنها لا تُلحق ضرراً بالبنية التحتية للنظام: فهي تعمل على النصوص الواردة والصادرة، وليس على ما يمكن للنظام تنفيذه بالصلاحيات الممنوحة له.
سادساً: ما هي الهوية التي يستخدمها النظام للوصول إلى كل مصدر، وما هي القائمة المغلقة للإجراءات المسموح بها، وما هي الإجراءات التي لا رجعة فيها ومن الذي يتحقق منها، وما الذي يتم تسجيله ولفترة كم، وما هي البيانات التي يتم استبعادها بقرار صريح، وكيف يتم إيقاف النظام وعكسه.
لأنه أمر لا رجعة فيه: إذا لم يتم تسجيله، فإن المعلومات غير موجودة. عندما يسأل عميل أو مدقق حسابات أو محكمة عما فعله النظام قبل أشهر، فإن القدرة على الإجابة ستعتمد على قرار تقني تم اتخاذه قبل بدء تشغيله.
يقوم إطار إدارة المخاطر للذكاء الاصطناعي التابع للمعهد الوطني للمعايير والتكنولوجيا (NIST) بتنظيم إدارة المخاطر على أساس القدرة على تحديد وقياس والتحكم؛ ويتطلب معيار ISO/IEC 42001 دليلاً على التحكم المستمر للحصول على الشهادة؛ ويفرض النظام الأوروبي للذكاء الاصطناعي تسجيل الأحداث والوثائق الفنية والإشراف البشري الواضح لفئات معينة.
تقليص النطاق الوظيفي، وليس قرارات التصميم. يمكن توسيع نظام يؤدي ثلاث وظائف بكفاءة مع صلاحيات محدودة وإمكانية تتبع محدودة؛ أما نظام يؤدي ثلاثين وظيفة دون تحكم فيجب إعادة تصميمه قبل توسيعه، خاصةً عندما يعتمد عليه المستخدمون بالفعل.
هل ستشرع في مشروع للذكاء الاصطناعي؟ إنّ الحوار الذي يستغرق ساعتين حول الهوية والصلاحيات والإجراءات والتسجيل هو الاستثمار الأمثل في المشروع بأكمله. سنفعل ذلك معك دون أي التزامات. لنتحدث → |
Español Español 
English
Français
العربية
Português
Deutsch
Italiano
