قبل الموافقة على الشريحة التالية من ميزانية مشروع الذكاء الاصطناعي، هناك 18 نقطة فنية يجب مراجعتها: 5 نقاط تتعلق بالبيانات، و4 نقاط تتعلق بالحركة.
يتألف المشروع من ثلاثة عناصر: 4 عناصر تتعلق بالتكامل، و3 عناصر تتعلق بإمكانية المراقبة، وعنصران يتعلقان بالتكلفة. إذا فشل أكثر من 5 عناصر، يحتاج المشروع إلى إنقاذ. أما إذا فشل أكثر من 9 عناصر، فمن الأفضل إيقافه.
وإعادة التقييم. يمكن إجراء التدقيق في غضون 10 أيام بواسطة فريق خارجي، وعادة ما تكون تكلفته أقل من 51% من الميزانية المتبقية.
عندما يمرّ مشروع ذكاء اصطناعي بثلاثة أو أربعة أشهر ويقترب موعد تخصيص الميزانية التالية، ينتاب المرء شعورٌ معقولٌ بالشك. هل يسير المشروع على ما يرام؟ هل سيكون نموذج إثبات المفهوم قابلاً للتطبيق في بيئة الإنتاج؟ هل هناك مخاطر تقنية لم يلتفت إليها أحد؟ الطريقة المعتادة لحلّ هذا الشك هي
من المفهوم سؤال فريق المشروع نفسه، لكن هذا غير موثوق. إجراء تدقيق خارجي من قبل خبراء فنيين مستقلين لا يكلف الكثير، ويمنع اتخاذ قرارات مكلفة مبنية على تفاؤل الفريق.
النقطة 1: هل بيانات التدريب أو الاختبار تمثيلية؟ من القضية الحقيقية؟ اطلب عينة من مجموعة البيانات المستخدمة وقارنها ببيانات الإنتاج الفعلية. تشير الانحرافات الكبيرة إلى وجود مشاكل في الإنتاج.
النقطة الثانية: هل يوجد بروتوكول موثق لوضع العلامات؟ بدون تصنيف متسق، يتعلم النموذج بيانات غير دقيقة. اطلب دليل التصنيف وتحليل مدى توافق المصنفين.
النقطة الثالثة: هل توجد بيانات لتقييم الانحراف في الإنتاج؟ أنت بحاجة إلى مجموعة تحقق تختلف عن مجموعة التدريب، ويجب تحديثها بانتظام.
النقطة الرابعة: هل يتم التعامل مع البيانات الحساسة بشكل مناسب؟ اللائحة العامة لحماية البيانات (GDPR)،,
يُشترط إخفاء الهوية وتوقيع اتفاقيات عدم الإفصاح عند إرسال البيانات إلى واجهات برمجة التطبيقات الخارجية. وبدون هذه الإجراءات، ثمة خطر.
إطار تنظيمي يقضي على المشاريع.
النقطة الخامسة: هل توجد آلية لتقديم الملاحظات لتحسين البيانات؟ بدون
لذلك، لا يتحسن النموذج أبدًا مع الاستخدام الفعلي.
النقطة السادسة: هل اختيار النموذج مبرر من الناحية الفنية أم من ناحية الموضة؟ استخدام نموذج GPT-5 عندما يكفي نموذج أصغر يُعدّ تبذيراً للموارد. أما استخدام نموذج مفتوح المصدر عندما تكون الجودة المطلوبة على مستوى النماذج الرائدة فهو محاولة خاطئة لتوفير المال.
البند 7 · هل هناك تقييمات تلقائية (evals) يتم تشغيلها بشكل دوري؟ بدون إجراء تقييمات، لا يُعرف ما إذا كان النموذج يتدهور.
النقطة 8 · هل توجد ضوابط لمنع الهلوسة، والحقن الفوري، و ردود فعل غير مرغوب فيها؟ إنه أمر إلزامي في مرحلة الإنتاج. ويُستخدم عادةً في إثبات المفهوم.
نقص.
النقطة التاسعة: هل توجد معايير مقارنة بالبدائل؟ إجراء مقارنة دورية مع النماذج الأخرى لضمان بقاء الاختيار الأمثل.
النقطة العاشرة: هل التكامل مع الأنظمة الداخلية حقيقي، وليس مجرد محاكاة؟
اطلب رؤية نقطة النهاية المتصلة بنظام إدارة علاقات العملاء (CRM) أو نظام تخطيط موارد المؤسسات (ERP) الفعلي، وليس جدول بيانات Excel.
النقطة 11 · هل توجد خطة للمصادقة والأذونات وإمكانية التتبع من قبل
مستخدم؟ بدون ذلك، لا يمكن طرحه في الإنتاج في شركة جادة.
النقطة 12 · هل تم قياس زمن الاستجابة تحت الحمل الفعلي؟ لنبحث عن
بيانات المستخدم غير ذات صلة. اطلب دليلاً قاطعاً.
النقطة 13 · هل هناك خطة احتياطية في حالة فشل النموذج؟ ماذا يحدث إذا تعطلت واجهة برمجة التطبيقات الخارجية؟ إذا لم يفكر أحد في هذا الأمر، فهو يشكل خطراً.
النقطة 14 · هل توجد سجلات منظمة تتضمن المدخلات والمخرجات والسياق؟ بدون ذلك، يصبح استكشاف الأخطاء وإصلاحها في الإنتاج عملية عمياء.
النقطة 15 · هل توجد لوحة تحكم تتضمن مقاييس الاستخدام والجودة والتكلفة؟ إذا لم يستطع أحد تحديد عدد المكالمات التي أجريت أمس وتكلفتها، فهذا يعني وجود نقص في المعلومات.
إمكانية الملاحظة الأساسية.
البند 16 · هل تم ضبط تنبيهات للحالات الشاذة؟ انخفاض في الجودة، وارتفاع في التكلفة، وأخطاء جديدة.
البند 17 · هل توجد تكلفة إجمالية محسوبة لـ 100 و 1000 و 10000 مستخدم؟ بدون ذلك، قد يكون المشروع مربحاً اليوم، ولكنه قد يكون كارثياً في غضون ستة أشهر.
البند 18 · هل توجد خطة لتحسين التكاليف؟ التخزين المؤقت، ونماذج أصغر للحالات الأبسط، والتجميع. إذا اتجه كل شيء إلى النموذج الأساسي
دائماً ما تكون باهظة الثمن، ولكن هناك مجال للتحسين.
أضاع 0-3 نقاط: مشروع ناجح، استمروا.
يضيعون 4-5 نقاط: تصحيح قبل الجزء التالي من الميزانية.
أضاع 6-9 نقاط: التدخل الفني ضروري قبل المتابعة.
أضاعوا أكثر من 9 نقاط: توقف، أعد التفكير، وربما ابدأ من جديد.
في شركة TCG، تم تسجيل رقم إغلاق مرتفع مكون من أربعة أرقام لتقرير مدته 10 أيام يغطي جميع النقاط الـ 18.
من الأفضل أن يكون راعي المشروع هو المسؤول، وليس فريق المشروع. وهذا يضمن الاستقلالية.
عادةً ما يوفر قضاء عشرة أيام في مرحلة اتخاذ قرار الميزانية شهورًا من الانحرافات اللاحقة.
نعم، التدقيق الجاد ينظر إلى التعليمات البرمجية والبيانات والبنية التحتية، وليس فقط المقابلات.
يتم تعديل قائمة التحقق وفقًا للنوع (RAG، والوكلاء، ومعالجة اللغة الطبيعية، ورؤية الكمبيوتر)، ولكن العناصر الخمسة تنطبق دائمًا.
يُعدّ التدقيق قبل المرحلة التالية من أفضل القرارات التي تحقق عائدًا على القيمة في إدارة مشاريع الذكاء الاصطناعي. عشرة أيام من التدقيق الخارجي
بإمكانهم توفير شهور من الاستثمار في مشروع سيئ التخطيط. إذا وصل مشروعك إلى هذه المرحلة، فاطلب ذلك.
Español Español 
English
Français
العربية
Português
Deutsch
Italiano
