تصحيح التحيزات وتحديث المعرفة في النماذج التي تولد الصور

"تتعلم العارضات هويات رؤساء الوزراء، والرؤساء، وحتى الممثلين الذين لعبوا شخصيات مشهورة في المسلسلات التلفزيونية. وتتوقف هذه العارضات عن التحديث بعد عملية التدريب. وقد طور الفريق خوارزمية تجعل من الممكن القيام بذلك دون الحاجة إلى وسائل جديدة ومكلفة". التدريب * بالإضافة إلى ذلك، تغلب الباحثون على التحيز لتفضيل الرجال عندما يكون الطلب عارضة

أصبحت نماذج توليد الصور - الأنظمة التي تنتج صورًا جديدة بناءً على وصف نصي - ظاهرة شائعة معروفة لدى عامة الناس في العام الماضي. إن تحسينها المستمر، الذي يعتمد إلى حد كبير على التطورات في عالم الذكاء الاصطناعي، يجعلها موردا هاما في مختلف مجالات الحياة.

لتحقيق أداء جيد، يتم تدريب هذه النماذج على كميات هائلة من أزواج التعليقات التوضيحية للصور - على سبيل المثال، إقران التسمية التوضيحية "صورة كلب" مع صورة كلب، آلاف وملايين المرات. ومن خلال هذا التدريب، يتعلم النموذج إنتاج صور أصلية للكلاب.

ومع ذلك، كما لوحظ طالبة الدكتوراه هداس أورجاد والدكتور بهجت قعوار خريج دكتوراه من كلية تاوب لعلوم الكمبيوتر، "نظرًا لأن هذه النماذج يتم تدريبها على الكثير من البيانات من العالم الحقيقي، فإنها تكتسب وتستوعب افتراضات حول العالم أثناء عملية التدريب. بعض هذه الافتراضات مفيدة، مثل على سبيل المثال - "السماء زرقاء" - وهي كذلك ما يسمح لنا بالحصول على صور جميلة حتى بناءً على أوصاف قصيرة وبسيطة، ومن ناحية أخرى، يقوم النموذج أيضًا بتشفير افتراضات غير صحيحة، أو غير ذات صلة، حول العالم، بالإضافة إلى التحيزات الاجتماعية. على سبيل المثال، إذا سألنا الانتشار المستقر (أ). مولد الصور المعروف) صورة رئيس تنفيذي، لن نتلقى سوى في 4% من الحالات صورًا بها نساء". 

ومن المشاكل الأخرى التي تواجه مثل هذه النماذج هو الكم الكبير من التغيرات التي تحدث في العالم من حولنا، بينما النماذج لا تتغير بعد عملية التدريب. دانا أراد، وهي أيضًا طالبة دكتوراه في كلية تاوب لعلوم الكمبيوتريوضح أنه "في عملية تدريبهم، تتعلم العارضات أيضًا الكثير من المعرفة الواقعية حول العالم. على سبيل المثال، تتعلم العارضات هويات رؤساء الوزراء والرؤساء وحتى الممثلين الذين لعبوا شخصيات مشهورة في المسلسلات التلفزيونية. وتتوقف مثل هذه النماذج عن التحديث بعد عملية تدريبهم، لذلك إذا طلبنا من نموذج اليوم إنتاج صورة لرئيس الولايات المتحدة، فلا يزال من المحتمل أن نحصل على صورة لدونالد ترامب، الذي من الواضح أنه لم يكن رئيسًا لنا في السنوات الأخيرة أراد تطوير طريقة فعالة لتحديث المعلومات دون الاعتماد على عمليات باهظة الثمن."

الحل "التقليدي" لهذه المشاكل هو التصحيح المستمر للبيانات من قبل المستخدم، أو إعادة التدريب أو الضبط الدقيق؛ ومع ذلك، فإن هذه الإصلاحات لها تكلفة عالية سواء من الناحية المالية، سواء من حيث مدة العمل، سواء من حيث جودة النتائج أو من حيث الجوانب البيئية (بسبب التشغيل الأطول لخوادم الكمبيوتر). بالإضافة إلى ذلك، فإن استخدام هذه الأساليب لا يضمن السيطرة على الافتراضات غير المرغوب فيها أو الافتراضات الجديدة التي يمكن إنشاؤها. يوضح الباحثون: "لذلك، نريد طريقة تسمح بالتحكم الدقيق والمضبوط في نفس الافتراضات التي يشفرها النموذج".

الأساليب التي وضعها طلاب الدكتوراه بتوجيه من الدكتور جوناثان بلينكوف يجعل الحاجة المذكورة زائدة عن الحاجة. الطريقة الأولى، طورها أورجاد وكاوار وكرويا الوقت، يسمح بتصحيح سريع وفعال للتحيزات والافتراضات. والسبب في ذلك هو أن نفس التصحيح لا يتطلب ضبطًا أو إعادة تدريب، بل يتطلب فقط إعادة تحرير جزء صغير من المعلمات - فقط حوالي 1.95% من معلمات النموذج. علاوة على ذلك، تتم نفس عملية إعادة التحرير بسرعة - في أقل من ثانية. بالإضافة إلى ذلك، في عمل متابعة يعتمد على TIME، يسمى UCE، تم تطويره بالتعاون مع جامعات نورث إيسترن ومعهد ماساتشوستس للتكنولوجيا في بوسطن، اقترح الباحثون طريقة للتحكم في العديد من السلوكيات الأخلاقية غير المرغوب فيها للنموذج - مثل انتهاك حقوق الطبع والنشر أو التحيزات الاجتماعية - عن طريق حذف الارتباطات غير المرغوب فيها من النموذج مثل المحتوى المسيء، أو الأنماط الفنية لفنانين مختلفين.

وهناك طريقة أخرى طورها أراد وأورجاد فيما بعد وأطلق عليها اسم إعادة الحقيقةيقدم خوارزمية مختلفة لتحرير المعلمات وبالتالي ينجح في تحقيق جودة أعلى وأداء أكثر دقة. يقوم ReFACT بتحرير نسبة أصغر من معلمات النموذج - 0.25% فقط - ويتمكن من إجراء تعديلات أكثر تنوعًا، حتى في الحالات التي فشلت فيها الطرق السابقة، مع الحفاظ على جودة الصور وحقائق وافتراضات النموذج الذي نرغب فيه للحفاظ على.

تتلقى الطرق مدخلات من المستخدم فيما يتعلق بالحقيقة أو الافتراض الذي نرغب في تعديله. على سبيل المثال، في حالة الافتراضات غير المعلنة، تتلقى الطريقة "مصدرًا" يبني النموذج على أساسه افتراضات غير معلنة ("باقة من الورود" على سبيل المثال، والتي يفترض النموذج عادةً ورودًا حمراء لها) و"هدفًا" " الذي يصف نفس الظروف ولكن بالسمات المرغوبة (على سبيل المثال، "باقة من الورود الزرقاء"، وذلك لتحرير النموذج بحيث يفترض أن الورود زرقاء من الآن فصاعدًا). عندما نريد استخدام الطريقة لتحرير الأدوار، ستتلقى الطريقة طلب التعديل (على سبيل المثال "رئيس الولايات المتحدة") متبوعًا بـ "المصدر" و"الوجهة" ("دونالد ترامب" و"جو بايدن"، على التوالي). ). وقام الباحثون بجمع حوالي 200 حقيقة وافتراضات، واختبروا طرق التحرير عليها وأظهروا أنها طرق فعالة لتحديث المعلومات وتصحيح التحيزات.

الوقت وقد تم تقديمه في أكتوبر الماضي في مؤتمر ICCV، وهو أحد أهم المؤتمرات في مجال الرؤية الحاسوبية والتعلم الآلي، وتم عرض أعمال المتابعة UCE مؤخرًا في مؤتمر WACV. إعادة الحقيقةتم تقديمه مؤخرًا في مؤتمر NAACL، وهو أحد المؤتمرات الرائدة للأبحاث في مجال معالجة اللغات الطبيعية.

تم دعم هذا البحث من قبل المؤسسة الوطنية للعلوم (ISF)، ومؤسسة أزريلي، والعمل الخيري المفتوح، وصندوق FTX المستقبلي، ومؤسسة Crown Family Foundation، وMLAG-VAT. هاداس أورجاد هو زميل Apple في الذكاء الاصطناعي لطلاب الدكتوراه. دانا أراد هي زميلة في منحة أريان دي روتشيلد لطلاب الدكتوراه.

إلى هذه المادة انقر هنا

للصور انقر هنا

بالصور:

1. الدكتور جوناثان بلينكوف
2. الآس المنسوج
3. دكتور بهجت قعوار
4. دانا عراد
5. في الصورة: تصحيح التحيز بين الجنسين عندما يكون الإدخال "مطور". على اليسار: قبل التحرير باستخدام TIME (الافتراض الضمني: المطور رجل). والصواب: بعد التحرير.
6. في الصورة، يتم تحديث المعرفة في النموذج بمساعدة ReFACT. على اليسار، الصور الأصلية التي أنتجها النموذج. على اليمين بعد التحرير. يتم أيضًا تعميم التعديلات بنجاح على الصياغات المغلقة، وإظهار نجاح الطريقة في إجراء تحرير مهم في المعرفة المشفرة في النموذج.

الائتمان: المتحدثون باسم التخنيون

لمزيد من التفاصيل: دورون شاهام، المتحدث باسم التخنيون - 050-3109088

دورون شاحام

المتحدث باسم التخنيون
قسم الشؤون العامة وتنمية الموارد

الهاتف: 077-8871992
الخلية: 972-50-3109088
بريد إلكتروني:  المتحدث باسم@technion.ac.il

...

[انقطعت الرسالة]  عرض الرسالة بأكملها

مرفق واحد • تم فحصه بواسطة Gmail