إن معدل الخطأ 80% في مشاريع الذكاء الاصطناعي المؤسسية لا يصل إلى مرحلة الإنتاج. والسبب الجذري ليس ثقافة العمل أو نقص الكفاءات، بل خمسة أعطال تقنية.
مشكلات محددة ومتكررة. بيانات غير تمثيلية، ونقص في إمكانية الملاحظة والتقييم، وتأجيل التكامل مع الأنظمة الحقيقية إلى المرحلة النهائية.,
تكاليف التشغيل غير المحسوبة وحالات الاستخدام المختارة لقيمتها التجريبية، وليس لقيمتها التجارية. معرفة كيفية تحديدها
قبل الموافقة على الميزانية، تجنب استخدام الرمز 80%.
تتفق تقارير متعددة (غارتنر، ومعهد ماساتشوستس للتكنولوجيا سلون، وإس آند بي غلوبال ماركت إنتليجنس، وماكينزي) على رقم مماثل: يتراوح بين 701 و851 ضعف الوقت اللازم لتطبيقات الذكاء الاصطناعي التجريبية في المؤسسات للوصول إلى مرحلة الإنتاج، أو الوصول إليها دون تحقيق قيمة ملموسة. والتفسير الشائع هو "غياب الثقافة الرقمية".,
“"نقص في الكفاءات" أو "الحاجة إلى مسؤول تنفيذي للذكاء الاصطناعي". هذا التفسير مُريح لأنه لا يُحدد المسؤولية التقنية، ولأنه يُسهم في بيع التقارير والاستشارات المتعلقة بالتغيير الثقافي. أما التفسير الصادق، والمبني على خبرتنا في تدقيق أكثر من تسعين مشروعًا متعثرًا في مجال الذكاء الاصطناعي، فهو أبسط: هناك خمسة عيوب تقنية متكررة. معرفتها مُسبقًا تُجنّبنا الوقوع في خطأ 80%.
تُدرَّب نماذج إثبات المفهوم أو تُختَبَر على مجموعات بيانات نظيفة ومُصنَّفة وخالية من التشويش. أما بيانات المؤسسات في العالم الحقيقي فهي فوضوية وغير مكتملة، و...
عدم اتساق في التسمية وحالات متطرفة لا تظهر في أي عينة. وعندما ينتقل النموذج من مرحلة العرض التوضيحي إلى مرحلة الإنتاج، تنخفض الجودة.
بين 20% و60% في الأسابيع الثلاثة الأولى. يُطلق على هذا اسم "انحراف بيانات اليوم الأول" ولا يمكن منعه بمزيد من التدريب: بل يتم منعه بـ
بروتوكول التحقق قبل إثبات المفهوم الذي يستخدم عينة تمثيلية من البيانات الحقيقية، بكل مشاكلها.
في البرمجيات التقليدية، لا يُنشر أي تطبيق في بيئة الإنتاج دون سجلات ومقاييس وتنبيهات. أما في الذكاء الاصطناعي، فمن الشائع نشر النماذج دون معرفة ما تستجيب له.
لا يوفر النظام معلومات في الوقت الفعلي، مثل عدد الهلوسات التي تحدث يوميًا، أو النسبة المئوية للاستجابات التي يرفضها المستخدم، أو تكلفته.
كل استدعاء للنموذج. بدون إمكانية المراقبة والتقييمات التلقائية، يتدهور النموذج بصمت ولا يلاحظ أحد ذلك حتى يتدخل أحد العملاء...
شكوى في مكالمة هاتفية.
يتطلب تطبيق المراقبة السليمة ثلاثة مكونات: سجلات منظمة تتضمن المدخلات والمخرجات والسياق؛ ومقاييس مجمعة (زمن الاستجابة،,
التكلفة، ومعدل الرفض)؛ والتقييمات الآلية التي تُجري مجموعة من اختبارات التوجيه كل ليلة وتُنبّه في حال انخفاض الجودة. بدون هذه العناصر الثلاثة،
النموذج أعمى.
من الشائع سماع عبارة: "لنقم بإثبات المفهوم أولاً، وسنتعامل مع التكامل لاحقاً". هذه العبارة تنبئ بالفشل. التكامل مع الأنظمة الداخلية
(أنظمة تخطيط موارد المؤسسات، وإدارة علاقات العملاء، وأدوات العمليات، والمصادقة المؤسسية) هي عادةً نقطة ضعف المشروع. وتشمل هذه المشاكل التأخير غير المتوقع، ومشاكل التنسيق.
بيانات غير متوافقة، متطلبات أمنية غير موثقة، مشاكل في الأذونات.
القاعدة العامة: إذا لم يكن هناك في الأسبوع الأول من إثبات المفهوم أي نقطة نهاية نظام داخلية متصلة بالنموذج (حتى لو كانت نقطة اختبار)، فإن المشروع
إنها فكرة سيئة التصميم. يجب أن يكون التكامل جزءًا من المخاطرة منذ السطر الأول من الكود، وليس مرحلة لاحقة.
تكلفة إثبات المفهوم (PoC) بخمسة مستخدمين متزامنين و100 مكالمة يوميًا منخفضة. أما نفس البنية مع 10000 مستخدم متزامن ومليون مكالمة يوميًا فتكلفتها أقل بكثير.
قد تكلف المكالمات اليومية 50 ضعفًا، والتكلفة ليست خطية: فهناك فترات تتطلب استخدام نماذج أغلى لتجنب التأخير، أو
وحدات معالجة رسومية مخصصة. إذا لم يقم أحد بحساب التكلفة الإجمالية للملكية قبل الموافقة على المشروع، فسيأتي وقتٌ حيث
النموذج ناجح، ويطلبه المستخدم، ويكتشف المدير المالي أن الفاتورة الشهرية ارتفعت من 1500 يورو إلى 35000 يورو في أربعة أشهر. القرار:
أوقف النموذج. فشل المشروع.
إنّ حالة الاستخدام التي تُباع بشكل أفضل داخليًا من خلال عرض توضيحي ليست بالضرورة هي حالة الاستخدام ذات القيمة التجارية الأكبر. عادةً ما تكون الحالة الأولى مرئية وجذابة، و
يسهل عرضها في غرفة الاجتماعات (برنامج دردشة تفاعلي، وكيل حجز سفر، أداة لإنشاء الصور).
أما النوع الثاني فعادةً ما يكون مملاً وغير جذاب بصرياً (مثل نموذج تصنيف التذاكر، أو نظام استخراج الكيانات من الفواتير، أو...).
(كاشف الاحتيال في المعاملات).
المفارقة: حالات الاستخدام المملة تُحقق عائدًا استثماريًا قابلًا للقياس وتبقى قيد الإنتاج لسنوات. أما حالات الاستخدام المذهلة فلها
لديهم فترة ذروة استخدام مدتها ثلاثة أسابيع، ثم يتوقفون عن العمل بصمت. إذا تم اختيار مشروعك لأنه كان مثيرًا للإعجاب في عرض الرئيس التنفيذي، فإن خطر الفشل وارد.
إنه طويل جداً.
لكل حالة من حالات الفشل الخمس، هناك فحص مسبق ينبغي أن
يجب القيام بذلك قبل الموافقة على الميزانية:
كل فحص من هذه الفحوصات الخمسة لا يكلف الكثير. أما تخطيها فيكلف المشروع.
تتفق دراسات مستقلة متعددة (غارتنر، ستاندرد آند بورز، معهد ماساتشوستس للتكنولوجيا) على أن عدد مشاريع الذكاء الاصطناعي التجريبية التي لا تصل إلى مرحلة الإنتاج أو لا تُحقق قيمة ملموسة يتراوح بين 701 و851 طنًا. يختلف العدد الدقيق باختلاف التعريف والقطاع، لكن نطاقه التقريبي ثابت.
ليس بالضرورة. لديهم موارد أكثر لإخفاء الإخفاقات في المشاريع المتوازية، لكن مقياس "إثباتات المفهوم التي تصل إلى مرحلة الإنتاج وتُستخدم في
"بعد عام" يشبه الوضع في بقية السوق.
نعم، دائماً. إنّ دراسة حالة صغيرة ببيانات حقيقية ونتائج قابلة للقياس تُعلّم أكثر.
ذلك نموذج أولي طموح لا يتم التحقق من صحته أبدًا من خلال الإنتاج الفعلي.
في شركة TCG، يصل المبلغ إلى رقم كبير يتجاوز الألف دولار أمريكي لتقرير مدته عشرة أيام يغطي جميع عناصر التحكم الخمسة. ويكاد هذا التقرير أن يغطي تكلفته بمجرد تجنب مشروع سيئ التخطيط.
تُعطى الأولوية للأعمال، وتُثبت التكنولوجيا جدوى المشروع. إذا كان أحد هذين الجانبين هو المتحكم الوحيد، فإن المشروع سيفشل. القرار الصائب يُتخذ دائمًا بشكل مشترك.
تم التوقيع.
تتفاقم هذه النسبة على المدى القصير. فقد أدى سهولة إنشاء عروض توضيحية مذهلة باستخدام نماذج التعلم الآلي إلى زيادة عدد المشاريع التجريبية الرائعة التي لا تصل إلى مرحلة الإنتاج. والخبر السار هو انخفاض تكلفة كل عرض توضيحي، مما يُسرّع عملية التطوير.
يُعد فهم أسباب فشل مشاريع الذكاء الاصطناعي أفضل استثمار يمكن للجنة التوجيهية القيام به قبل الموافقة على أي مشروع. أسباب الفشل الخمسة الشائعة
يمكن تجنب المشكلات التقنية المذكورة، ولكن فقط إذا تم تحديدها قبل البدء. ويمكن تحديد معظمها بسهولة من خلال تدقيق مسبق لـ
عشرة أيام، وهو ما يكلف جزءًا بسيطًا من تكلفة المشروع. إذا كنت ستوافق على مشروع تجريبي للذكاء الاصطناعي هذا الربع، فاطلب إجراء هذا الفحص الأولي.