قد تساعد تقديرات عدم اليقين الأكثر دقة المستخدمين على تحديد متى وكيفية استخدام نماذج التعلم الآلي في العالم الحقيقي
نظرًا لأن نماذج التعلم الآلي يمكن أن تعطي تنبؤات خاطئة، فغالبًا ما يزودها الباحثون بالقدرة على إخبار المستخدم بمدى ثقتهم في قرار معين. وهذا مهم بشكل خاص في البيئات عالية المخاطر، مثل عندما يتم استخدام النماذج للمساعدة في تحديد الأمراض في الصور الطبية أو فحص تطبيقات الوظائف.
لكن تقديرات عدم اليقين النموذجية لا تكون فعالة إلا إذا كانت دقيقة. إذا أشار النموذج إلى أنه من المؤكد بنسبة 49% أن الصورة الطبية تظهر السائل الجنبي، فيجب أن يكون النموذج صحيحًا بنسبة 49% من الوقت.
قدم باحثون من معهد ماساتشوستس للتكنولوجيا (MIT) نهجًا جديدًا يمكنه تحسين تقديرات عدم اليقين في نماذج التعلم الآلي. ولا تنتج طريقتهم تقديرات عدم اليقين أكثر دقة من الطرق الأخرى فحسب، بل إنها تفعل ذلك بكفاءة أكبر.
بالإضافة إلى ذلك، نظرًا لأن هذه التقنية قابلة للتطوير، فيمكن تطبيقها على نماذج التعلم العميق الكبيرة التي يتم استخدامها بشكل متزايد في الرعاية الصحية والمواقف الحرجة للسلامة.
قد تزود هذه التقنية المستخدمين النهائيين، الذين يفتقر الكثير منهم إلى خبرة التعلم الآلي، بمعلومات أفضل يمكنهم من خلالها تحديد ما إذا كانوا سيثقون في تنبؤات النموذج أو ما إذا كانوا سينشرون النموذج لمهمة معينة.
"من السهل أن نرى أن هذه النماذج تؤدي أداءً جيدًا في السيناريوهات التي تتفوق فيها، ونفترض أنها ستكون بنفس الجودة في سيناريوهات أخرى. وهذا يجعل العمل الذي يهدف إلى تحسين معايرة عدم اليقين لهذه النماذج مهمًا بشكل خاص، للتأكد من مطابقتها "التصورات البشرية لعدم اليقين"، كما يقول ناثان نغ، المؤلف الرئيسي للورقة، وهو طالب دراسات عليا في جامعة تورنتو والذي يزور معهد ماساتشوستس للتكنولوجيا كطالب.
كتب إنج البحث مع روجر جروس، الأستاذ المشارك لعلوم الكمبيوتر في جامعة تورنتو؛ ومع المؤلف الكبير مرضية الجسمي، الأستاذ المشارك في قسم الهندسة الكهربائية وعلوم الحاسوب وعضو معهد علوم الهندسة الطبية ومختبر نظم المعلومات والقرار. سيتم تقديم البحث في المؤتمر الدولي للتعلم الآلي.
عدم اليقين الكمي
غالبًا ما تتطلب أساليب القياس الكمي غير المؤكد حسابات إحصائية معقدة غير مناسبة تمامًا لنماذج التعلم الآلي التي تحتوي على ملايين المعلمات. تتطلب هذه الأساليب أيضًا من المستخدمين وضع افتراضات حول النموذج والبيانات المستخدمة لتدريبه.
اتخذ باحثو معهد ماساتشوستس للتكنولوجيا نهجا مختلفا. ويستخدمون ما يعرف بمبدأ الحد الأدنى لطول الوصف (MDL)، والذي لا يتطلب الافتراضات التي يمكن أن تؤثر على دقة الطرق الأخرى. يتم استخدام MDL لتحديد ومعايرة عدم اليقين بشكل أفضل لنقاط الاختبار التي طُلب من النموذج تسميتها.
التقنية التي طورها الباحثون، والتي تسمى IF-COMP، تجعل MDL سريعًا بما يكفي لاستخدامه مع أنواع نماذج التعلم العميق الكبيرة المنتشرة في العديد من البيئات الواقعية.
يتضمن MDL فحصًا لجميع العلامات الممكنة التي يمكن أن يعطيها النموذج لنقطة الاختبار. إذا كان هناك العديد من التسميات البديلة لتلك النقطة والتي تناسب بشكل جيد، فإن ثقة النموذج في التسمية المختارة يجب أن تنخفض وفقًا لذلك.
يقول إنج: "إحدى الطرق لفهم مدى ثقة النموذج هي إعطاؤه معلومات عكسية ومعرفة مدى استعداده لتصديقك".
على سبيل المثال، فكر في نموذج يقول إن الصورة الطبية تظهر السائل الجنبي. إذا أخبر الباحثون النموذج أن هذه الصورة تظهر الوذمة، وكان على استعداد لتحديث اعتقاده، فيجب أن يكون النموذج أقل ثقة في قراره الأصلي.
في MDL، إذا كان النموذج واثقًا عند تسمية نقطة بيانات، فيجب عليه استخدام رمز قصير جدًا لوصف تلك النقطة. إذا لم يكن متأكدًا من قراره لأن النقطة قد يكون لها العديد من التسميات الأخرى، فسوف يستخدم رمزًا أطول لالتقاط تلك الاحتمالات.
يُعرف مقدار التعليمات البرمجية المستخدمة لتسمية نقطة البيانات بتعقيد البيانات العشوائية. إذا سأل الباحثون النموذج عن مدى استعداده لتحديث اعتقاده بشأن نقطة بيانات معينة في مواجهة أدلة مخالفة، فإن التعقيد العشوائي للبيانات يجب أن ينخفض إذا كان النموذج واثقًا.
لكن اختبار كل نقطة بيانات باستخدام MDL سيتطلب قدرًا هائلاً من الحسابات.
تسريع العملية
باستخدام IF-COMP، طور الباحثون تقنية تقريبية يمكنها تقدير تعقيد البيانات العشوائية بشكل أكثر دقة باستخدام وظيفة خاصة تُعرف باسم وظيفة التأثير. كما استخدموا أيضًا تقنية إحصائية تسمى معايرة درجة الحرارة، والتي تعمل على تحسين معايرة نتائج النموذج. يتيح الجمع بين وظائف التأثير ومعايرة درجة الحرارة إجراء تقديرات تقريبية عالية الجودة لتعقيد البيانات العشوائية.
في نهاية المطاف، يمكن لـ IF-COMP أن ينتج بشكل فعال تقديرات عدم اليقين المعايرة جيدًا والتي تعكس الثقة الحقيقية للنموذج. يمكن لهذه التقنية أيضًا تحديد ما إذا كان النموذج قد قام بتسمية نقاط بيانات معينة بشكل خاطئ أو يكشف عن نقاط البيانات التي تعتبر قيمًا متطرفة.
اختبر الباحثون نظامهم على هذه المهام ووجدوا أنه أسرع وأكثر دقة من الطرق الأخرى.
"من المهم جدًا أن يكون لدينا بعض اليقين بأن النموذج تمت معايرته جيدًا، وهناك حاجة متزايدة لمعرفة متى لا يبدو تنبؤ معين صحيحًا. تصبح أدوات التدقيق ضرورية أكثر فأكثر في مشاكل التعلم الآلي عندما نستخدم كميات كبيرة "من البيانات غير المختبرة لإنشاء نماذج يمكن تطبيقها على المشاكل مع البشر"، كما تقول جاسمي.
إن IF-COMP مستقل عن النموذج، لذا يمكنه تقديم تقديرات دقيقة لعدم اليقين للعديد من أنواع نماذج التعلم الآلي. وهذا قد يسمح بنشرها في مجموعة واسعة من البيئات الواقعية، مما يساعد في نهاية المطاف المزيد من المهنيين على اتخاذ قرارات أفضل.
يقول إنج: "يحتاج الناس إلى أن يفهموا أن هذه الأنظمة ضعيفة للغاية ويمكنها اختلاق الأمور بسرعة. قد يبدو النموذج واثقًا جدًا، ولكن هناك العديد من الأشياء التي يرغب في تصديقها في مواجهة الأدلة المخالفة".
في المستقبل، يهتم الباحثون بتطبيق نهجهم على نماذج اللغة الكبيرة واستكشاف الاستخدامات المحتملة الإضافية لمبدأ الحد الأدنى لطول الوصف.
المزيد عن الموضوع على موقع العلوم:
