إنّ أكثر الطرق شيوعًا التي يكشف بها نظام الذكاء الاصطناعي معلومات حساسة لا تتم عبر هجوم متطور، بل عندما يطرح موظف سؤالًا مشروعًا ويتلقى إجابة لا ينبغي له الاطلاع عليها. لم يفشل النظام تقنيًا، بل قام ببساطة بوظيفته ضمن الصلاحيات الممنوحة له، والتي كانت أوسع من صلاحيات الشخص الذي طرح السؤال.
تُحدد منظمة OWASP هذا الخطر على النحو التالي: LLM02، الإفصاح عن المعلومات الحساسة, ، ضمن أفضل 10 تطبيقات لنمذجة اللغة بحلول عام 2025. وهو التطبيق الذي يظهر بشكل أكبر في بيئات الأعمال، تحديدًا لأنه لا يتطلب من أي شخص التصرف بنية خبيثة.
التصريح الموروث. يستعلم المساعد عن مستودع المستندات باستخدام حساب خدمة يتمتع بصلاحيات كاملة. أي مستخدم يتفاعل مع المساعد يحصل فعليًا على صلاحية الوصول إلى كل ما يراه هذا الحساب. هذه هي الطريقة الأكثر شيوعًا والأسهل للدخول غير المقصود.
المؤشر العشوائي. عند إنشاء قاعدة المعرفة، يتم فهرسة مجلد كامل "لتوفير السياق". قد يحتوي المجلد على سجلات الرواتب، أو اتفاقية سرية، أو تقرير عن معاملة جارية. لا يُميّز النظام بين الملفات، بل يسترجع أي ملف يُناسب الاستعلام.
المخرج إلى الخارج. يقوم شخص ما بلصق مسودة عقد أو جزء من شفرة برمجية خاصة في أداة عامة لتحسينها. هذا هو مسار الذكاء الاصطناعي الخفي، الذي ناقشناه في الذكاء الاصطناعي الخفي، المخاطر التي تأتي من خلال بطاقة الشركة.
الاستدلال التراكمي. لا تكشف أي إجابة منفردة عن أي شيء حاسم، ولكن الجمع بين عدة إجابات يسمح بإعادة بناء معلومات لا ينبغي أن تكون متاحة: هيكل الرواتب من أجزاء، وهامش ربح العميل من المقارنات.
أما النوع الرابع فهو الأصعب في السيطرة عليه والأقل توقعاً، لأنه لا توجد لحظة محددة يمكن القول فيها إنه تم تسريب شيء ما.
يقترب | كيف يتصرف | مخاطرة |
|---|---|---|
أذونات التطبيق | يتمتع النظام بإمكانية الوصول إلى كل شيء، وتقوم الواجهة بتصفية ما تعرضه. | أي مسار بديل يتجاوز الفلتر. |
الأذونات في الاستعلام | تخضع المستندات التي يتم استرجاعها لقيود تعتمد على هوية الطالب. | هذا صحيح، لكنه يعتمد على البيانات الوصفية التي يتم صيانتها بشكل جيد. |
الأذونات المتعلقة بالبيانات | يتم تحديد الوصول من المصدر، باستخدام هوية المستخدم. | الوحيد القادر على الصمود في وجه أشكال الوصول الجديدة |
بُنيت معظم أنظمة المؤسسات باستخدام صلاحيات التطبيقات، لأنه على مدى عشرين عامًا، كان الوصول إلى البيانات يتم عبر الشاشة فقط. أما المساعد الذكي فهو مسار جديد للوصول إلى البيانات نفسها، وهذا المسار لا يمر عبر الشاشة.
ومن هنا القاعدة التي نطبقها: ينبغي لنظام الذكاء الاصطناعي أن يستشير هوية المستخدم، وليس هويته هو.. إذا أدى ذلك إلى إعادة تصميم نموذج الأذونات، فهذا يعني أن نموذج الأذونات كان هشًا بالفعل وأن المعالج قد جعله مرئيًا ببساطة.
بناء قاعدة معرفية هو قرار أمني مُقنّع بمهمة تقنية. إليك أربعة أسئلة قبل البدء:
غالباً ما يتم إغفال النقطة الرابعة بسبب مخاوف تتعلق بخصوصية الموظفين. وهذا قلق مشروع يمكن معالجته من خلال سياسة الاحتفاظ بالسجلات وتقييد الوصول إليها، وليس بحذفها.
عند استئجار أداة لقراءة الوثائق الداخلية، هناك ثلاثة أسئلة لا تسمح بإجابات غامضة:
هل تُستخدم بياناتنا لتدريب النماذج؟ ينبغي أن يكون الجواب موجوداً في العقد، وليس في صفحة تسويقية، وينبغي أن يغطي كلاً من المحتوى والاستفسارات.
كيف تتم معالجة التصاريح؟ إذا كانت الإجابة هي أن الأداة تتصل بحساب مسؤول، فهناك مشكلة في التصميم، وليست مشكلة في التكوين.
أين يتم تخزين الملفات المضمنة والسجلات؟ لا تزال المتجهات المستخرجة من وثيقة سرية تحتوي على معلومات من تلك الوثيقة. وقد خصصت منظمة OWASP فئة محددة - LLM08، نقاط الضعف في المتجهات والتضمينات - لهذه النقطة.
لا داعي لإيقاف أي شيء. الترتيب الذي يُجدي نفعاً هو:
هناك اختبار يستغرق خمس دقائق وينظم المحادثة بشكل أفضل من أي تدقيق رسمي: اطلب من المساعد شيئًا لا ينبغي أن تكون قادرًا على رؤيته..
متوسط الراتب لقسمٍ ما. بنود عقد مع عميل لا تديره. محتويات دفتر العناوين. إذا استجاب النظام، فأنت تعلم مسبقًا أن نموذج الصلاحيات موجود في التطبيق، وليس في البيانات، وتعرف ما هي المهمة الأولى.
إذا كان النفي صحيحًا، فتأكد أيضًا من أنه لا يُجيب على السؤال نفسه بصيغة مختلفة. فالاتساق في مواجهة إعادة الصياغة هو ما يُميّز التحكم الحقيقي عن التوجيه المباشر.
من خلال أربعة مسارات: الأذونات الموروثة من حساب خدمة يتمتع بصلاحيات وصول كاملة، والفهرسة العشوائية للمجلدات التي تحتوي على مستندات حساسة، وإخراج المعلومات إلى أدوات خارجية غير مصرح بها، والاستدلال التراكمي من عدة استجابات غير ضارة بشكل فردي.
استخدم حساب المستخدم، ولا تستخدم أبدًا حساب الخدمة الخاص بك ذي الصلاحيات الواسعة. إذا استعلم النظام بصلاحيات أعلى من صلاحيات المستخدم، وقامت واجهة المستخدم بتصفية ما تعرضه، فإن أي طريقة وصول بديلة ستتجاوز هذه التصفية.
ما هي المصادر التي يتم تضمينها بشكل صريح وتلك التي لا يتم تضمينها، وما إذا كان لكل مستند مستوى وصول مرتبط به، وكيف تتم إزالة المحتوى من الفهرس عند تغيير تصنيفه، وما يتم تسجيله من كل استعلام من أجل اكتشاف التسريب والتحقيق فيه.
إذا تم استخدام البيانات والاستعلامات لتدريب النماذج، فكيف يتم تحديد أذونات الوصول، وأين يتم تخزين التضمينات والسجلات؟ لا تزال المتجهات المشتقة من مستند سري تحتوي على معلومات من ذلك المستند.
اطلب معلومات لا ينبغي للشخص السائل الاطلاع عليها: تفاصيل الراتب، أو بنود عقود الآخرين، أو محتويات ملفات الإدارة. إذا استجاب، فإن التحكم في الوصول موجود في التطبيق، وليس في البيانات نفسها. يُنصح أيضًا بإعادة صياغة السؤال بصيغة أخرى.
تتمثل المشكلة في إعادة بناء معلومات حساسة من عدة استجابات، لا تكشف كل منها على حدة عن أي شيء بالغ الأهمية. ويصعب التحكم في هذه العملية لعدم وجود لحظة محددة يمكن تحديدها لحدوث التسريب، وبالتالي، فإن تسجيل الاستعلامات هو الوسيلة الوحيدة للكشف عنه.
هل تعلم ما يمكن لمساعدك الذكي أن يراه؟ نقوم بمراجعة هوية الاستعلام، ونطاق الفهرس، والأذونات، والتسجيل، ونخبرك بالمعلومات المعروضة اليوم. اطلب مراجعة →
Español Español 
English
Français
العربية
Português
Deutsch
Italiano
