Rafael C. Pinto المعهد الفيدرالي للتعليم والعلوم والتكنولوجيا في ريو غراندي دو سول (IFRS) كانواس، البرازيل الجامعة الفيدرالية في ريو غراندي دو سول (UFRGS) بورتو أليغري، البرازيل rafael.pinto@canoas.ifrs.edu.br
Anderson R. Tavares الجامعة الفيدرالية في ريو غراندي دو سول (UFRGS) بورتو أليغري، البرازيل artavares@inf.ufrgs.br
الملخص
تقدم الأجسام الأولية (Proto-objects) – وهي مناطق من الصورة تشترك في خصائص بصرية عامة – بديلاً واعدًا لآليات الانتباه التقليدية القائمة على رقع الصور مستطيلة الشكل في الشبكات العصبية. على الرغم من أن الأعمال السابقة أظهرت أن تطوير وحدة انتباه صلبة (hard-attention) قائمة على الرقع جنبًا إلى جنب مع شبكة متحكم يمكن أن يحقق أداءً يمثل ذروة التطور التكنولوجي في مهام التعلم المعزز البصري، فإن نهجنا يستفيد من تقسيم الصور للعمل مع ميزات أعلى مستوى. من خلال العمل على الأجسام الأولية بدلاً من الرقع الثابتة، نحد بشكل كبير من التعقيد التمثيلي: فتتفكك كل صورة إلى عدد أقل من الأجسام الأولية مقارنة بالرقع المنتظمة، ويمكن ترميز كل جسم أولي بكفاءة كمتجه ميزات مدمج. يتيح هذا وحدة انتباه ذاتي أصغر حجمًا بشكل ملحوظ تعالج معلومات دلالية أغنى. تظهر تجاربنا أن هذا النهج القائم على الأجسام الأولية يطابق أو يتجاوز الأداء المتقدم للتطبيقات القائمة على الرقع مع معلمات أقل بنسبة 62% وزمن تدريب أقل بـ 2.6 مرة.
بودكاست NotebookLM (بالإنكليزية)
بودكاست NotebookLM (بالبرتغالية)
الشكل 1: وكيلنا الانتباهي قادر على التركيز على مناطق موحدة بالكامل بدلاً من رقع صور صغيرة ذات حجم ثابت.
1 المقدمة
برزت آليات الانتباه البصري كحل قوي لتقليل التعقيد الحسابي في مهام الإدراك عالية الأبعاد. من خلال إنشاء عنق زجاجة للمعلومات بين المدخلات البصرية وشبكات التحكم، تمكّن هذه الآليات من المعالجة الفعالة للمشاهد المعقدة [14]. أظهرت الأعمال الحديثة أن تطوير وحدة انتباه صلبة بشكل مشترك مع متحكم LSTM [10] يمكن أن ينتج وكلاء فعالين بدرجة ملحوظة يعملون فقط على رقع صور صغيرة [22]. لم يؤد هذا النهج إلى شبكات عصبية أصغر بدرجات من الطرق المنافسة فحسب، بل حقق أيضًا نتائج متقدمة في بيئات التعلم المعزز التنافسية مثل Car Racing و Doom Take Cover [3]. ينبع هذا النجاح من قدرة طبقة الانتباه على تصفية مناطق المدخلات غير الصلة، مما يسهل مهمة المتحكم مع توفير تعميم قوي ومقاومة للضوضاء.
نطور هذا الاتجاه البحثي من خلال استبدال الرقع ذات الحجم الثابت والموزعة بانتظام بأجسام أولية – وهي مناطق متماسكة من الميزات البصرية الموحدة محليًا [6] – يتم الحصول عليها من خلال تقسيم الصور [7]. يقدم هذا التحول في التمثيل ميزتين رئيسيتين. أولاً، توفر تمثيلاً أكثر اندماجًا، حيث تتفكك معظم المشاهد إلى عدد أقل من الأجسام الأولية مقارنة بالرقع. ثانيًا، يرمز كل جسم أولي معلومات دلالية أغنى من خلال متجه واصف صغير يلتقط خصائص مثل الشكل والحجم واللون.
يتيح نهج الأجسام الأولية هذا بناء بنية مبسطة بشكل كبير. تتضاءل وحدة الانتباه الذاتي بشكل ملحوظ أثناء معالجة ميزات ذات مستوى أعلى، مما يؤدي إلى تحسين الاختيار وتصفية المعلومات بشكل أفضل للمتحكم، والذي يمكن تبسيطه أيضًا. تظهر نتائجنا في بيئتي Car Racing و Doom Take Cover [3] أن هذه البنية الأكثر كفاءة تطابق أو تتجاوز أداء التطبيقات القائمة على الرقع مع تقليل عدد المعلمات بنسبة 62% وتدريب أسرع بـ 2.6 مرة.
2 الخلفية النظرية
كانت نمذجة الانتباه البصري البشري مجال بحث نشط على مدار الـ 35 عامًا الماضية. تم اقتراح العديد من نماذج الانتباه المختلفة، والتي بالإضافة إلى تقديم مساهمات نظرية في علوم الأعصاب وعلم النفس، أظهرت تطبيقات ناجحة في الرؤية الحاسوبية والروبوتات [2]. ركزت النماذج الحسابية المبكرة في المقام الأول على الانتباه التصاعدي (bottom-up) القائم على البروز، بينما دمجت النهج الأكثر أحدث التأثيرات التنازلية (top-down) وآليات الاختيار القائمة على الأجسام.
يوفر الجهاز البصري البيولوجي رؤى حاسمة لتصميم أنظمة رؤية اصطناعية كفؤة. هناك قيد أساسي يتمثل في أن الموارد العصبية محدودة – أظهر Koch وآخرون [11] أن الخلايا العقدية في الشبكية توازن بين التكاليف الأيضية ونقل المعلومات، مما يحقق ترميزًا عالي الكفاءة على الرغم من استخدام معدلات إطلاق منخفضة نسبياً. هذا يشير إلى وجود ضغط تطوري نحو أعناق زجاجة استراتيجية للمعلومات بدلاً من محاولة معالجة جميع المدخلات بالتساوي. أظهر Walther و Koch [28] أن أحد أعناق الزجاجة هذه يحدث عند مستوى الجسم الأولي، حيث يتم تحديد مناطق متماسكة من المشهد لمعالجة محسّنة قبل حدوث التعرف الكامل على الجسم. يتناول هذا النظام البصري تسلسل المشاهد المعقدة إلى كتل قابلة للإدارة مع الحفاظ على كفاءة ترميز عالية.
2.1 أنواع آليات الانتباه البصري
يعمل الانتباه البصري في الأنظمة البيولوجية من خلال ثلاث آليات رئيسية. يعمل الانتباه القائم على الفضاء على مواقع محددة في المجال البصري، حيث يتعامل مع الانتباه كبقعة ضوء تعزز المعالجة عند إحداثيات مكانية محددة. يعمل الانتباه القائم على الميزات على تعزيز معالجة ميزات محددة بشكل انتقائي (مثل اللون أو الاتجاه أو الحركة) عبر المجال البصري بأكمله، بغض النظر عن الموقع المكاني. يعمل الانتباه القائم على الأجسام على عناصر مجمعة إدراكيًا تشكل أجسامًا متماسكة، مما يشير إلى أن الانتباه يحدد تمثيلات الأجسام بالكامل بدلاً من مجرد المواقع المكانية أو الميزات الفردية [5, 25, 27].
2.2 الانتباه الذاتي
آلية رئيسية في الانتباه الحسابي الحديث هي طبقة الانتباه الذاتي. في شكلها القياسي [26]، تعمل طبقة الانتباه الذاتي على مجموعة من متجهات المدخلات N، كل منها بأبعاد din، وتحولها الخطي عبر مصفوفات الأوزان المتعلمة WO و WK للحصول على مصفوفتين الاستعلام (Q) والمفتاح (K):
S = softmax( QKT / √dk ) (1)
حيث dk هو بعد متجهات المفتاح. تظهر درجات الانتباه S مدى ارتباط عناصر المدخلات. يتم دمج S بشكل أكبر مع مصفوفة V، والتي تعد أيضًا تحويلاً خطيًا للمدخلات، لتشكيل التمثيل السياقي A = SV، وتتضمن متجهاتها تمثيل كل مدخل بالنظر إلى السياق العام.
2.3 الأجسام الأولية وأعناق زجاجة المعلومات
الأجسام الأولية هي تمثيل وسيط بين الميزات البصرية الخام والأجسام المعترف بها بالكامل [19, 28]. يتم تشكيلها أثناء المعالجة ما قبل الانتباه وتمثل مناطق متماسكة من المجال البصري التي تشترك في خصائص بصرية مشتركة. تُستخدم هذه الهياكل كمرشحين محتملين للانتباه قبل حدوث التعرف الكامل على الجسم [16]، مما يسمح للنظام البصري بإعطاء الأولوية لموارد المعالجة بكفاءة.
تخدم أعناق زجاجة المعلومات في المعالجة البصرية ضغط المدخلات البصرية عالية الأبعاد إلى تمثيلات أسهل في الإدارة مع الحفاظ على المعلومات ذات الصلة بالمهمة [11, 23]. يمكن أن تحدث أعناق الزجاجة هذه في مستويات مختلفة من المعالجة، من الميزات البصرية المبكرة إلى التعرف على الأجسام، وتلعب دورًا حاسمًا في إدارة الموارد الحسابية المطلوبة للمعالجة البصرية [29]. يمثل تشكيل الأجسام الأولية نفسه عنق زجاجة طبيعي للمعلومات، لأنه يقلل من تعقيد المشهد البصري مع الحفاظ على المعلومات ذات الصلة سلوكيًا [28].
3 الأعمال ذات الصلة
يعتمد نهجنا ويتوسع على عدة خطوط بحثية في الانتباه البصري، والتعلم المعزز، والتعلم العميق. نراجع هنا الأعمال السابقة الأكثر صلة التي توضح مساهمتنا وتضعها في سياقها، مع التركيز بشكل خاص على النهج التي تعالج تحديات المعالجة البصرية الفعالة وآليات الانتباه.
3.1 الوكلاء القابلون للتفسير الذاتي
استكشفت الأعمال الحديثة بواسطة Tang وآخرون [22] استخدام آليات الانتباه الصلبة في التعلم المعزز. يحدد نهجهم المدخلات البصرية إلى رقع 7x7 ويطبق آلية انتباه ذاتي معدلة لاختيار أفضل k رقع فقط للمعالجة (انظر الشكل 2). هذا يخلق عنق زجاجة للمعلومات يجبر النموذج على التركيز على المدخلات الأكثر صلة مع تجاهل المدخلات الأخرى. عند تطبيقها على مهام التعلم المعزز القائمة على الرؤية، مكنت هذه الطريقة الوكلاء من تحقيق أداء وتفسيرية وكفاءة حسابية أفضل مع عدد أقل بكثير من المعلمات مقارنة بالطرق التقليدية. يختلف نهجنا بشكل أساسي باستخدام الأجسام الأولية بدلاً من الرقع، مما يقلل من عدد الرموز وأبعادها مع إضافة معلومات أعلى مستوى إليها.
الشكل 2: يستخرج الوكيل الرقع من الإطار الحالي ويحدد أفضل k منها (المظللة باللون الأبيض) بواسطة آلية انتباه صلبة. من خلال تصور الرقع المحددة، من الممكن الحصول على فكرة أفضل عن الاستراتيجية المتعلمة، بالإضافة إلى تسهيل تصحيح الأخطاء.
3.2 النهج القائمة على الأجسام الأولية
أظهر Orabona وآخرون [16] فعالية الأجسام الأولية كالوحدات الأساسية للانتباه البصري. أظهر عملهم أن استخدام الأجسام الأولية كتمثيل وسيط يتوافق بشكل طبيعي مع الأجسام المحتملة في المشهد، مما يسمح بـ المعالجة الفعالة مع الحفاظ على ميزات بصرية ذات معنى.
تم استكشاف فكرة استخدام معلومات ذات مستوى أعلى من اللطخات (blobs) كمدخلات بشكل أكبر بواسطة Liang وآخرون [12] في عملهم حول Blob-PROST. أظهر نهجهم أن الميزات البصرية القائمة على لطخات الألوان يمكن أن تحقق أداءً منافسًا لـ DQN [15] مع استخدام عدد أقل بكثير من المعلمات. تمثلت الرؤية الأساسية في تمثيل شاشات الألعاب من حيث "اللطخات" – مناطق متصلة من البكسلات ذات اللون نفسه والتي غالبًا ما تتوافق مع أجسام اللعبة. هذه حالة خاصة لاستخدامنا للأجسام الأولية، والتي لا تقتصر على البكسلات ذات اللون نفسه. تم دمج هذا التمثيل مع ميزات الموقع والأوفست النسبي بين اللطخات، مما يلتقط العلاقات المكانية والزمانية. ومع ذلك، كان تمثيلهم يتكون من أكثر من 100 مليون ميزة ثنائية، بينما يعتمد تمثيلنا على تمثيلات مدمجة للأجسام الأولية الفردية التي يمكن الاهتمام بها بشكل فردي.
3.3 التعلم المعزز القائم على الأجسام
بينما تركز نهج الأجسام الأولية على التمثيلات الوسيطة، دفع بعض الباحثين باتجاه العمل مع أجسام مكتملة تمامًا. أجرى Woof و Chen [30] تجارب مع تمثيلات لأجسام عالية المستوى (مثل الكيانات القابلة للتحديد في شاشة اللعبة) بدلاً من اللعب الكامل للشاشة. ومع ذلك، يفترضون أن الأجسام معطاة مسبقًا، مما يتطلب الوصول إلى محرك اللعبة أو كاشفات أجسام محددة.
أظهر نهج أكثر قوة [1] أن العمل مباشرة على التمثيلات على مستوى الجسم يمكن أن يحسن بشكل كبير من كفاءة العينات في مهام التعلم المعزز. يتعلم نهجهم تمثيلاً موجزًا للجسم من البكسلات دون إشراف من خلال تقسيم الصور مسبقًا إلى أجزاء أولية، ونمذجة ديناميكياتها، ثم دمج الأجزاء عندما تكون لها ديناميكيات متشابهة. يستفيد نهجهم من الفكرة القائلة بأن الأحداث المهمة تقع عندما تتفاعل الأجسام، باستخدام هذا لتوجيه الاستكشاف نحو الحالات التي تتضمن اتصالات بين الأجسام. بينما يحقق نهجهم نتائج مثيرة للإعجاب – حيث يتعلم أسرع بـ 10000 مرة من أساليب RL العميق التقليدية ويتمكن في بعض الحالات من تجاوز التعلم البشري – فإنه يتطلب تعقيدًا حسابيًا كبيرًا للكشف عن الأجسام وتتبعها. هذا يحفز استكشاف نهج الأجسام الأولية، والتي توفر توازنًا بين كفاءة المعالجة والقوة التمثيلية.
4 وكيل الانتباه القائم على الأجسام الأولية
يعتمد عملنا ويربط العديد من اتجاهات البحث في الرؤية الحاسوبية والتعلم العميق والحوسبة التطورية. نجمع بين الرؤى المأخوذة من النماذج البيولوجية للانتباه البصري والهياكل العصبية الفعالة وتقنيات الرؤية الحاسوبية الكلاسيكية لإنشاء نظام هجين يستفيد من نقاط القوة في كل نهج. نطبق آليات الانتباه الصلبة على الأجسام الأولية بدلاً من البكسلات الخام أو الرقع العشوائية. يطبق هذا النهج عنق زجاجة للمعلومات مائلًا لما لاحظه Koch وآخرون [11] في الأنظمة البيولوجية، بينما يعمل على الأجسام الأولية ذات المعنى الدلالي التي وصفها [16, 19]. من خلال تحديد الأجسام الأولية الأكثر صلة فقط للمعالجة، ننشئ عنق زجاجة للمعلومات بمستوى أكثر أهمية دلاليًا مقارنة بالنهج السابقة.
هذا المزيج مناسب تمامًا للتطور العصبي، حيث إن الاختيار المنفصل لأفضل k أجسام أولية ونقل الإحداثيات إلى المتحكم ينشئان عمليات غير قابلة للتفاضل تشكل تحديًا للأساليب القائمة على التدرج ولكنها طبيعية للنهج التطورية. بالإضافة إلى ذلك، من خلال إجبار النموذج على أن يكون ينتقي بشكل صريح أجزاء المدخلات البصرية التي يعالجها، نكتسب تفسيرية مباشرة – يمكننا تصور بالضبط أي الأجسام الأولية يعتقد النموذج أنها مهمة لقراراته، مما يوفر رؤى حول عملية اتخاذ القرار التي غالبًا ما تفتقر إليها النهج التقليدية للتعلم العميق.
4.1 التنفيذ
يتكون روشنا من 5 مراحل رئيسية: التلافيف، التكميم، التجزئة، الانتباه والتحكم، والتي نوضحها فيما يلي.
4.1.1 التلافيف
تهدف مرحلة التلافيف إلى إزاحة وإعادة تحجيم وتصفية و/أو خلط قنوات الصورة الأصلية، مما يوفر تمثيلاً معالجًا مسبقًا للمراحل التالية. بشكل خاص، في تجاربنا، نستخدم طبقة تلافيفية واحدة تحتوي على 3 مرشحات 1x1. اختيار 3 مرشحات ضروري للتوافق مع الاتصال المتبقي. من الممكن إضافة المزيد من الطبقات التلافيفية طالما حافظت على نفس حجم الصورة. في هذه الحالة، تعد إضافة طبقة أخيرة تحتوي على 3 مرشحات كافية لتقليل عدد الأبعاد إلى نفس عدد القنوات في الصورة. بعد ذلك، نضيف الصورة الأصلية إلى مخرجات التلافيف، لتشكيل اتصال متبقي [9]، وتتضح وظيفتها في المرحلة التالية.
4.1.2 التكميم
يهدف التكميم إلى تقليل كمية المعلومات المراد معالجتها في المراحل التالية. في تجاربنا، نقوم بتكميم منتظم بسيط لمخرجات التلافيف باستخدام بت واحد لكل قناة (يمكن أن يكون أكثر للمهام الأكثر تعقيدًا، ويمكن حتى تطويره). ونتيجة لذلك، نحصل على صورة تحتوي على 8 ألوان متميزة على الأكثر، يمثل كل منها نوعًا مختلفًا من الأجزاء. لاحظ أنه بالإضافة إلى كونها تكميمًا ثابتاً بسيطاً، فإن دمجها مع الطبقة التلافيفية التي تسبقها ينتج عنه آلية تجزئة وتكميم تكيفية.
تتمتع هذه المرحلة بتآزر مع التلافيف: قد يؤدي الإزاحة وإعادة التحجيم وخلط قنوات الصورة الأصلية إلى وضعها في فئات تكميم مختلفة. ولكن نظرًا لوجود قفزات غير متصلة في سطح أداء التطور اللازمة للعثور على تجزئة مناسبة، والتي قد تستغرق بعض الوقت حتى يستكشفها الخوارزمية التطورية، نستخدم الاتصال المتبقي في المرحلة السابقة كبديل لبدء التطور من تجزئة بسيطة على ألوان الصورة الأصلية. وبالتالي، فإن الغرض من التلافيف هو تغيير التجزئة بعيدًا عن التجزئة البسيطة (إذا لزم الأمر).
4.1.3 التجزئة
تهدف التجزئة إلى إنشاء الأجسام الأولية، أي واصفات لمناطق البكسلات المتشابهة دلاليًا التي تم استلامها من المراحل السابقة. في هذا العمل، نطبق ترميز الصور بواسطة مناطق متصلة بالألوان [7, 20]. من كل منطقة مستخرجة، يمكن الحصول على مجموعة من السمات، مما ينتج عنه ميزات din (يتم التعامل مع المناطق بعرض أو ارتفاع 1 بكسل كضوضاء وتجاهلها).
بعد تجارب دقيقة، انتهينا إلى مجموعة من ميزات din = 11، وهي: لون الجزء المكمم (R, G, B)، مركز الكتلة (X, Y)، المساحة الإجمالية بالبكسل، عرض المربع المحيط، ارتفاع المربع المحيط، مساحة المربع المحيط، نسبة العرض إلى الارتفاع والامتداد (مساحة المربع المحيط مقسومة على مساحة المنطقة). يمكن حساب كل هذه بسهولة وبكفاءة من المناطق التي تم الحصول عليها، وستساعد المرحلة التالية في اتخاذ قرارات أكثر دقة. يمكن أن يكون الاتجاه (الارتباط بين إحداثيات البكسل) مفيدًا أيضًا، ولكنه يضيف الكثير من التعقيد الزمني لنموذجنا وتم استبعاده. تم تطبيع جميع القيم بين -1 و 1، كما يتم تحويل نسبة العرض إلى الارتفاع إلى النمط اللوغاريتمي بحيث تتوافق 1 و -1 مع النسب المتطرفة، بينما تعني 0 جوانب متساوية:
تهدف وحدة الانتباه إلى نمذجة العلاقات بين الأجسام الأولية المحددة في مرحلة التجزئة. يتم إدخال ميزات الأجسام الأولية N إلى طبقة الانتباه بنموذجنا كمجموعة من الرموز ذات الأبعاد N din، بمصطلحات الانتباه [26]. تقوم طبقة الانتباه بتضمين هذه الرموز في متجهين Q و K بأبعاد dq. هناك، مع ذلك، لمسة إضافية في تنفيذنا: نضيف طبقة وحدة خطية مصححة معلمية (PReLU) قبل وبعد التحويلات الخطية. تعتبر PReLU تعميمًا لتنشيط ReLU، حيث ينحدر الجزء السلبي بتكيف (PReLU(x) = max(ax, x)) لكل طبقة أو خلية عصبية (الأخير في حالتنا). بالنسبة لـ 15 معلمة إضافية فقط، يتيح هذا لطبقة الانتباه لدينا نمذجة علاقات أكثر تعقيدًا، حيث تم إثبات أن خلية PReLU واحدة تحل مشكلة XOR [17]. في حالتنا، يتيح تحديد قيم المدى المتوسط (مثل الألوان الرمادية) عندما تكون قيمة a سالبة (مما يجعل الدالة غير رتيبة)، وهو أمر غير ممكن باستخدام الطبقات الخطية الخالصة. يمكن بدلاً من ذلك استخدام المزيد من طبقات الانتباه الذاتي التقليدي، لكننا اخترنا حل PReLU الأبسط في هذا العمل للحفاظ على انخفاض عدد المعلمات وزمن التشغيل.
متابعةً لإجراء الانتباه الذاتي المعتاد، يتم حساب مصفوفة الانتباه بواسطة المعادلة 1، ثم يتم الحصول على متجه الأهمية عن طريق الجمع عبر الصفوف. بدلاً من الخلط المعتاد للرموز مع مصفوفة V المطبقة في الانتباه الذاتي التقليدي، نقوم ببساطة بإنشاء تحديد أرفع k أفراد للأجسام الأولية بناءً على الجمع الناتج عبر الصفوف.
نلاحظ أن حساب الانتباه يحتوي على تعقيد زمني تقاربي تربعي في عدد الرموز N. إن تقليل عدد الرموز بشكل كبير عن طريق استخدام الأجسام الأولية بدلاً من الرقع يجعل وحدة الانتباه لدينا أسرع بكثير.
في تجاربنا، ذهبنا إلى الحد الأقصى وقمنا بضبط k = 1 (يتم تمرير إحداثيات جسم أولي واحد إلى المتحكم، الموضح أدناه). هذا ممكن لأن وحدة الانتباه لدينا أكثر تعبيرًا من الأصلية وتحتوي الأجسام الأولية على معلومات أعلى مستوى، مما يجعل جسمًا أوليًا واحدًا محددًا جيدًا كافيًا للمتحكم لاتخاذ قراراته (اختيار أفضل يعني جهدًا أقل للمتحكم). إنه أيضًا أكثر ملاءمة بيولوجيًا، حيث نركز على عنصر بصري واحد في كل مرة [4].
4.1.5 التحكم
أخيرًا، تختار مرحلة التحكم إجابة لتنفيذها في البيئة. في تنفيذنا، يتم تطبيق دالة نقل f(n) على كل متجه ميزة من الأجسام الأولية المحددة ويتم ربط النتائج وتغذيتها كمدخلات إلى متحكم LSTM [10]، والذي يتولى مسؤولية تعلم الارتباطات الزمانية وإخراج التحكم.
في حالتنا، تقوم f(n) فقط بإرجاع إحداثيات مركز كتلة الجسم الأولي. يمكن استخدام دوال نقل أكثر تعقيدًا لتغذية المتحكم بمزيد من الخصائص لكل جسم أولي تم اختياره، ولكن مركز الكتلة كان كافيًا لمشاكلنا. هذا ممكن لأن التطور المشترك لوحدات الانتباه والتحكم ينتج عنه "اتفاق" ضمني: من خلال اختيار نفس النوع من الأجسام الأولية دائمًا (عشب، مضمار، إلخ)، لا داعي للمتحكم لتخمين أيهما. إذا ركز الانتباه على أنواع مختلفة من الأجسام الأولية في كل مرة، فلن يكون من الممكن تمييزها بمجرد إحداثياتها، ما لم تظهر باستمرار في مناطق محددة من الشاشة، وتكون قابلة للتمييز بالموقع (مثل شاشة العرض الرأسية التي توجد دائمًا في أسفل الشاشة). يمكن للمتحكم أيضًا التمييز بينها إذا قامت وحدة الانتباه باستمرار بوضع نفس الأنواع من الأجسام الأولية في نفس مراكز التصنيف (على سبيل المثال، العشب أولاً، المضمار ثانيًا)، ولكن هذه قطعة إضافية من التعقيد المراد تعلمها.
4.2 نظرة عامة
ويرد ملخص للفروق بين خيارات المعلمات الفائقة لدينا والعمل السابق القائم على رقع الصور [22] في الجدول 1، بالإضافة إلى العدد الناتج من المعلمات القابلة للتعلم في كل نموذج، مما يوضح أن نموذجنا أصغر بكثير (بنسبة 62%) في الإجمالي، بسبب طبقة الانتباه المدمجة وعنق الزجاجة الأصغر بـ k = 1. يمكن رؤية العملية الكاملة في الشكل 3. على الرغم من أن هذا النموذج غير قابل للتفاضل، إلا أنه قابل للتعلم عبر أساليب تحسين خالية من المشتقات مثل CMA-ES [8].
الجدول 1: مقارنة المعلمات الفائقة وعدد المعلمات القابلة للتعلم في النموذج القائم على الرقع [22] والنموذج القائم على الأجسام الأولية (خاصتنا). يستخدم الأخير معلمات قابلة للتعلم أقل بنسبة 62%.
الشكل 3: مخطط التدفق لعمليتنا الكاملة. في تجاربنا، H = W = 96، F = 11 (عدد ميزات التجزئة)، dq = 2، M = 2 (نستخدم إحداثيات x، y فقط من كل رمز)، k = 1 و O = 3 (عدد المخرجات لكلا البيئتين). يمكن استخدام أي عدد من الطبقات التلافيفية، طالما حافظت على حجم الصورة وكانت الطبقة الأخيرة تحتوي على 3 مرشحات لتتوافق مع الاتصال المتبقي. نستخدم طبقة واحدة من 3 مرشحات 1x1. تم ضبط التكميم على بت واحد لكل قناة (8 ألوان). P هي دالة التنشيط PReLU. العناصر الخضراء جديدة بالمقارنة مع [22].
5 التجارب والنتائج
من أجل مقارنة نهجنا بالنهج القائم على الرقع في [22]، نختبره على نفس البيئات في [22]: CarRacing و Doom-TakeCover [3]. بالنسبة لكلاهما، نقوم بتشغيل CMA-ES مع عدد مجتمعي يبلغ 128 حلًا لـ 1000 جيل ونقيم النماذج على 8 بذور في كل جيل. تعتمد البذور على أرقام الأجيال والتكرار. نختبر النماذج كل 100 جيل على 400 بذرة جديدة ونستخرج المتوسطات والتباينات لإنتاج فترات ثقة بنسبة 95%. يتم الحصول على الأهمية الإحصائية من اختبارات مان ويتني يو ثنائية الذيل [13]. لاحظ أن التجارب الأصلية في [22] استمرت لـ 2000 جيل مع 16 بذرة لكل منها ومجتمع يضم 256 حلًا، لذا فهي غير قابلة للمقارنة مباشرة. قمنا بتنصيف كل من هذه المعلمات الفائقة بسبب قيود الأجهزة، وأجرينا التجارب الأصلية مجددًا في هذا الإعداد الجديد لإجراء مقارنة عادلة.
جرت تجاربنا على إعداد الأجهزة التالي: معالج AMD Ryzen 5950X، وذاكرة وصول عشوائي DDR4 3200 بسعة 128 جيجابايت، وبطاقة رسوميات Nvidia RTX 3090. تم توازي التدريب على 32 سلسلة عمليات، مما يحدد كل تقييم بسلسلة واحدة. استفاد الحل القائم على الرقع من وحدة معالجة الرسوميات (GPU)، لكن نهجنا تم تحسينه لوحدة المعالجة المركزية (CPU)، حيث لم تتطابق معالجة المكونات المتصلة متعددة التسميات وتسميتها جيدًا مع وحدة معالجة الرسوميات.
5.1 سباق السيارات (Car Racing)
هذه بيئة سباق من الأعلى إلى الأسفل مع مضامير تم إنشاؤها عشوائيًا (كما هو موضح في الشكلين 1 و 2). إنها بسيطة بصريًا بدرجة كافية لتخطي مرحلتي التلافيف والتكميم في نهجنا، ولكننا نقوم بهما على أي حال للتحقق من عمومية الطريقة. المكافأة هي -0.1 لكل إطار، و -100 للخروج بعيدًا عن المضمار (والذي يسبب أيضًا إنهاء اللعب)، و +1000/N لكل بلاطة مضمار يتم زيارتها، حيث N هي إجمالي عدد البلاطات المزارة في المضمار (تظهر البلاطات كظلال رمادية متميزة قليلاً)، وتعتبر محلولة عند تجاوز 900 نقطة. هذا يحفز المتحكم على أن يكون سريعًا والدقيق. هناك 3 إجراءات مستمرة: التوجيه (-1 أقصى اليسار، +1 أقصى اليمين)، التسارع، والفرملة. يوجد إصدار V2 من هذه البيئة متاح ¹، ولكنه يستخدم Pygame ²، وهو بطيء. نستخدم V0، والذي هو أسرع بمرتين باستخدام OpenGL، وننفذ تحسيناتنا الخاصة التي تضيف تسريعًا إضافيًا بمقدار ضعف آخر. لا توجد فروق ذات دلالة إحصائية بين كلا الإصدارين باستثناء التوافق مع واجهة برمجة التطبيقات الجديدة [24] وتوافق الأجهزة والبرامج الأفضل.
كانت طريقتنا أكثر كفاءة في استغلال العينات، مع متوسط نتائج أعلى طوال فترة التدريب، وحققت نتيجة أفضل بشكل ملحوظ (p = 1.1e-22) بلغت 910.39 بعد التدريب (الشكل 4). علاوة على ذلك، كما يوضح الجدول 2، قامت بذلك باستخدام 2% فقط من عدد الرموز لكل إطار مقارنة بالحل القائم على الرقع و 62% معلمات أقل قابلة للتعديل. وعلى الرغم من تشغيلها على وحدة المعالجة المركزية، فقد تدربت أسرع بـ 2.7 مرة بالنسبة للطريقة القائمة على الرقع، والتي تم تشغيلها على وحدة معالجة الرسوميات.
الشكل 4: مقارنة منحنى التعلم في بيئة Car Racing على مدار 400 جولة اختبار خارج مضامير عينات التدريب لكل جيل معروض. تحقق طريقة الأجسام الأولية لدينا نتائج أفضل بكثير بعد 1000 جيل بالنسبة للطريقة القائمة على الرقع في [22]. وصل كلاهما إلى الذروة عند 1000 جيل.الشكل 5: تطور التجزئة في 5 نقاط زمنية ذات صلة. يتم تعلم استراتيجية الانتباه الأساسية (التركيز على منطقة العشب الأصغر، المظللة باللون الأبيض مع النقطة المركزية باللون الأسود؛ النقاط المركزية الأخرى باللون الوردي) في وقت مبكر من العملية، بينما يستمر التجزئة في التطور حتى النهاية. أقصى اليسار العلوي: الصورة الخام بعد تغيير الحجم وقبل التجزئة. أقصى الوسط العلوي (100 جيل): يتم الحفاظ على التجزئة البسيطة من الألوان الأصلية للمائتي جيل الأولى. أقصى اليمين العلوي (300 جيل): يتعلم فصل المضمار عن شاشة العرض الرأسية (HUD) أدناه ويميّز بعض مستشعرات ABS. أقصى اليسار السفلي (800 جيل): يبدل تجزئة المضمار و HUD، مما يجعل السيارة مرئية، ويميّز علامات المنعطفات الحمراء ويخفي مؤشرات البوصلة. كما أنه يميّز علامات المنعطفات البيضاء عن مؤشر النتيجة والسرعة، ويدمج مستشعرات ABS مرة أخرى. أقصى الوسط السفلي (900 جيل): يميّز أجزاء المضمار. أقصى اليمين السفلي (1000 جيل): يتخلى عن التجزئة الدقيقة للمضمار ويعود إلى استراتيجية التجزئة السابقة، مع تغييرات صغيرة جدًا وغير صلة في بعض البكسلات في النتيجة.
من الجوانب الممتعة لهذه التجربة ملاحظة تطور التجزئة والانتباه، كما يوضح الشكل 5. يبدأ الحل بالتكميم البسيط على الألوان الأصلية للمهمة، ولكن بما أن المضمار داكن، فإنه ينضم إلى شاشة العرض الرأسية (HUD) السوداء في أسفل الشاشة. ومع ذلك، فهو يعرف بالفعل كيفية التركيز على منطقة العشب الأصغر، حيث إنها عادةً ما تشير إلى الاتجاه الذي يجب أن تدور فيه السيارة. في 300 جيل تتعلم فصل المضمار عن الـ HUD، بينما في 800 جيل تفصل السيارة وعلامات المنعطفات الحمراء عن المضمار. في حين أن السيارة غير مفيدة (فهي دائمًا في نفس المكان وتم دمجها مع المضمار في تجارب أخرى)، يمكن للعلامات الحمراء تعزيز اتجاه الدوران الصحيح من خلال "التصويت" (كاستعلامات) على منطقة العشب المجاورة لها. في 900 جيل، يتعلم تجزئة بلاطات المضمار، ولكنه يستغني عنها في الحل النهائي. يمكن رؤية الحل النهائي مفككًا إلى خطوات معالجته في الشكل 6.
الشكل 6: مراحل المعالجة في بيئة Car Racing. أقصى اليسار العلوي: صورة خام تم تغيير حجمها إلى 96x96. أقصى اليمين العلوي: تلافيف 1x1 + اتصال متبقي. أقصى اليسار السفلي: تكميم. أقصى اليمين السفلي: انتباه مع k=1.
5.2 دووم التغطية (Doom Take Cover)
تعتمد هذه المهمة على لعبة Doom، وهي أكثر تعقيدًا بصريًا وتحتوي على ألوان أكثر بكثير من المهمة السابقة (انظر الشكل 8، أقصى اليسار العلوي)، مما يجعل خطوتي التلافيف والتكميم ضروريتين للغاية لمنع عدد هائل من الأجزاء. تجري الأحداث في غرفة مستطيلة. يتواجد الوكيل على طول الجدار، وتظهر الوحوش بشكل مستمر وعشوائي على طول الجدار المقابل. يستمرون في إطلاق كرات النار على الوكيل، والذي يجب عليه تجنبها للبقاء على قيد الحياة. يحصل الوكيل على نقطة مكافأة واحدة لكل ثانية يبقى فيها حياً وله 3 إجراءات منفصلة: التحرك لليسار، التحرك لليمين، أو الوقوف ثابتًا.
الشكل 7: مقارنة منحنى التعلم في بيئة Doom Take Cover على مدار 400 جولة اختبار خارج بذور عينات التدريب لكل جيل معروض. أظهرت طريقتنا مع k = 1 كفاءة عينات أقل ولكنها حققت أداءً مشابهًا بعد 1000 جيل بالنسبة لـ [22]، والتي حققت ذروة الأداء عند 700 جيل (p = 0.414 بين أفضل الحلول). ومع ذلك، مع k = 10 (نفس الإعداد القائم على الرقع) وتعديلات إضافية مفصلة في النص، كان لحلنا كفاءة عينات أفضل وحقق أداءً أعلى بشكل ملحوظ (p = 2.8e−5) بنتيجة 1193 عند 700 جيل.الشكل 8: مراحل المعالجة في بيئة Doom Take Cover. أقصى اليسار العلوي: صورة خام تم تغيير حجمها إلى 96x96. أقصى اليمين العلوي: تلافيف 1x1 + اتصال متبقي. أقصى اليسار السفلي: تكميم. أقصى اليمين السفلي: انتباه. لاحظ أن هذا الحل يتجاهل كرات النار تمامًا منذ مرحلة التكميم.
تظهر منحنيات التعلم في الشكل 7. نلاحظ أن نهجنا كان ذو كفاءة عينات أقل قليلاً، متطلبًا المزيد من الأجيال لمطابقة أداء النموذج القائم على الرقع (p = 0.414). قمنا أيضًا بالتجربة باستخدام dq = 4 و k = 10 (نفس الإعداد القائم على الرقع) وتلافيف 3x3 (2671 معلمة) وكان هذا الحل يتمتع بكفاءة عينات أفضل وحقق أداءً أعلى بشكل ملحوظ (p = 2.8e-5) بنتيجة 1193 في 55 ساعة من التدريب. نفترض أن انخفاض الأداء كان بسبب k = 1، مما يعني أن LSTM تعمل بجهد أكبر بكثير لمواكبة العديد من الأجسام الأولية ذات الاهتمام على الشاشة، أو حتى فقدان بعضها تمامًا، بينما تتعلم أيضًا التخلي عن الأجسام الأولية للجدار التي تتنشط عند عدم وجود قذائف على الشاشة.
الجدول 2: مقارنة النتائج. عدد الرموز لكل إطار ثابت بالنسبة للنموذج العادي القائم على الرقع، ولكنه متغير بالنسبة لنموذجنا القائم على الأجسام الأولية. تم تحسين طريقتنا حاليًا لوحدة المعالجة المركزية. في قسم عدد الرموز، تشير n إلى عدد الإطارات، بينما تتساوى في الدرجات مع عدد الجولات.
يظهر الجدول 2 أيضًا أن عدد الأجسام الأولية المستخرجة كان منخفضًا لهذه البيئة أيضًا، مما يثبت أن خطوات المعالجة المسبقة لدينا فعالة في تقليل وتبسيط التعقيد البصري للمجالات المختلفة، مع الحفاظ على المعلومات اللازمة لاتخاذ القرار. كان وقت التدريب أسرع بـ 2.6 مرة لـ k = 1 وأسرع بـ 1.6 مرة لـ k = 10.
يتم توضيح مراحل المعالجة الرئيسية في بيئة Doom في الشكل 7: تغيير حجم الصورة، تلافيف 1x1، تكميم الألوان، والانتباه (k = 1). بشكل ملحوظ، يتبنى الوكيل المتطور استراتيجية بساطة مذهلة، متجاهلاً العناصر التي تبدو حاسمة مثل كرات النار القادمة. بدلاً من ذلك، يركز حصرًا على الوحش الموجود في أقصى اليمين على الشاشة أثناء تنفيذ نمط حركة إيقاعي من اليسار إلى اليمين. تطابق هذه الاستراتيجية أداء النموذج القائم على الرقع، على الرغم من أن الأخير يهتم بكل من كرات النار والجدران. التكافؤ مع نهجنا البسيط يرجح أن LSTM للنموذج القائم على الرقع قد يعتمد أيضًا بشكل أساسي على الحركة الدورية وتجاهل إحداثيات القذائف. تثبت هذه الاستراتيجية فعاليتها لأن قذائف الوحوش تستهدف الموقع الحالي للوكيل - وبالتالي تعمل الحركة المستمرة كتقنية تجنب قوية، بغض النظر عن المواقع المحددة للنيران القادمة. ومع ذلك، يبدو وكيلنا مع k = 10 أكثر تفاعلية مع كرات النار.
6 الخاتمة والأعمال المستقبلية
لقد قدمنا تمثيلاً جديداً للوكلاء القائمين على انتباه عنق الزجاجة في المهام البصرية والذي يعمل على الأجسام الأولية بدلاً من البكسلات الخام أو رقع الصور. من خلال العمل مع هذه الأجسام البدائية ما قبل الانتباه، والتي تم الحصول عليها من خلال طرق الرؤية الحاسوبية الكلاسيكية، حققنا أداءً مشابهًا أو متفوقًا مع تقليل عدد الرموز المراد الاهتمام بها وأبعادها بشكل كبير، بالإضافة إلى زمن التدريب مقارنة بالحول السابقة. يسلط نجاح هذا النهج الهجين الضوء على إحدى المزايا الرئيسية للأساليب التطورية لتدريب مثل هذه النماذج: حرية الجمع بين المكونات القابلة للتفاضل وغير القابلة للتفاضل دون التقيد بمتطلبات التحسين القائم على التدرج. ومع ذلك، فإن تطوير نسخة قابلة للتفاضل بالكامل من حلنا يظل اتجاهًا جذابًا للأعمال المستقبلية، حيث يمكن أن يحسن بشكل كبير من كفاءة العينات.
كشفت تجاربنا أن نماذج الانتباه القائمة على عنق الزجاجة عرضة للوقوع في القمم المحلية أثناء التطور. تجعل بنية الوحدة المزدوجة (الانتباه والتحكم) من الصعب اكتشاف استراتيجيات انتباه جديدة بمجرد استقرار نهج معين، حيث يتكيف المتحكم خصيصًا مع آلية الانتباه الحالية. أي تغييرات كبيرة في وحدة الانتباه تخاطر بخلل هذا التوازن الدقيق. نفترض أن CMA-ES قد يكون "جشعًا" للغاية لهذه البنية، وقد تكون البدائل مثل التطور التفاضلي [21] أكثر ملاءمة من خلال السماح لعدة استراتيجيات انتباه بالتطور بشكل متوازٍ.
أظهرنا أنه من خلال تعزيز طبقة الانتباه، فإن إرسال إحداثيات جسم أولي واحد إلى المتحكم كافٍ لإنتاج سياسات فعالة. يعمل هذا لأن LSTM يمكنها الحفاظ على تمثيل الحالة الداخلية وتحديثه عبر الإطارات، وتحديد المعلومات التي يجب الحفاظ عليها أو التخلص منها. يتوافق هذا النهج بشكل جيد مع حرَكات العين البيولوجية، حيث يتحول التركيز بالضرورة بين المواقع أو الأجسام الفردية [4]. ومع ذلك، فإن تدفق المعلومات المبسط هذا يأتي على حساب أوقات تعلم أطول عندما تكون هناك كيانات متعددة ذات صلة على الشاشة، حيث يجب على وحدة الانتباه الاهتمام بها جميعًا ويجب على المتحكم تطوير استراتيجيات معقدة لإدارة الذاكرة. أحد الحلول المحتملة هو فصل الذاكرة والتحكم، وربما تنفيذ آليات الانتباه على الإحداثيات التي تم الاهتمام بها مؤخرًا لإنشاء تضمينات ثابتة الحجم [18] للمتحكم. يمكن توسيع هذا بشكل أكبر ليشمل التخزين التكيفي والاسترجاع من قواعد البيانات المتجهة.
تنبثق عدة اتجاهات واعدة للبحوث المستقبلية من هذا العمل. يمكن لإشارات التغذية الراجعة من المتحكم أن تعدل الانتباه، مما يتيح استراتيجيات تنازلية نشطة. يتطلب هذا إثراء تدفق المعلومات من وحدة الانتباه لمساعدة المتحكم في تفسير الإشارات الواردة. يمثل الانتباه الذاتي متعدد الرؤوس تمديدًا طبيعيًا آخر. يمكن أن يتوسع النهج محتملاً ليشمل التعرف الكامل على الأجسام عن طريق إدماج طبقات تلافيفية إضافية وعمق المعالجة (عند توفرها) ومعلومات الحركة. قد تمكّن آليات الانتباه الذاتي التجميع الذاتي للمناطق إلى كيانات أعلى مستوى، بينما يمكن للانتباه المتبادل أن يسهل تتبع الأجسام عبر الإطارات.
أخيرًا، تتمثل الخطوة التالية الحاسمة في التحقق من صحة نهجنا على صور العالم الحقيقي وتحديد ما إذا كانت زيادة التعقيد في مرحلتي التلافيف والتكميم ضرورية، أم إذا كانت النهج القائمة على الرقع أثبتت أنها أكثر كفاءة في مثل هذه السيناريوهات. قد يؤدي النجاح في هذا المجال إلى تطوير أنظمة روبوتات وسيارات ذاتية القيادة أكثر كفاءة، مما يقلل من المتطلبات الحسابية مع تمكين ذكاء أكثر تطوراً لكل وحدة معالجة.
شكر وتقدير
يود المؤلفون تقديم الشكر لـ FAPERGS (الإشعار 10/2021 – ARD/ARC) على الدعم المالي. تم دعم هذه الدراسة أيضًا من قبل المعهد الفيدرالي للتعليم والعلوم والتكنولوجيا في ريو غراندي دو سول (IFRS).
المراجع
William Agnew and Pedro Domingos. 2018. Unsupervised Object-Level Deep Reinforcement Learning. Deep Reinforcement Learning Workshop (NIPS 2018).
Ali Borji and Laurent Itti. 2012. State-of-the-art in visual attention modeling. IEEE transactions on pattern analysis and machine intelligence 35, 1 (2012), 185-207.
Greg Brockman, Vicki Cheung, Ludwig Pettersson, Jonas Schneider, John Schulman, Jie Tang, and Wojciech Zaremba. 2016. OpenAI Gym. arXiv:1606.01540 [cs.LG]
Marisa Carrasco. 2011. Visual attention: The past 25 years. Vision Research 51, 13 (2011), 1484-1525. doi:10.1016/j.visres.2011.04.012 Vision Research 50th Anniversary Issue: Part 2.
Leif H. Finkel and Paul Sajda. 1992. Proto-objects: an intermediate-level visual representation, In Optical Society of America Annual Meeting. Optical Society of America Annual Meeting -, -, FO1. doi:10.1364/OAM.1992.FO1
Christophe Fiorio and Jens Gustedt. 1996. Two linear time union-find strategies for image processing. Theoretical Computer Science 154, 2 (1996), 165-181.
Nikolaus Hansen. 2006. The CMA Evolution Strategy: A Comparing Review. Springer Berlin Heidelberg, Berlin, Heidelberg, 75-102. doi:10.1007/3-540-32494-1_4
Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2016. Deep Residual Learning for Image Recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, Los Alamitos, CA, USA, 770-778. doi:10.1109/CVPR.2016.90
Sepp Hochreiter and Jürgen Schmidhuber. 1997. Long short-term memory. Neural computation 9, 8 (1997), 1735-1780.
Kristin Koch, Judith McLean, Ronen Segev, Michael A. Freed, Michael J. Berry, Vijay Balasubramanian, and Peter Sterling. 2006. How Much the Eye Tells the Brain. Current Biology 16, 14 (2006), 1428-1434. doi:10.1016/j.cub.2006.05.056
Yitao Liang, Marlos C. Machado, Erik Talvitie, and Michael Bowling. 2016. State of the Art Control of Atari Games Using Shallow Reinforcement Learning. In Proceedings of the 2016 International Conference on Autonomous Agents & Multiagent Systems (Singapore, Singapore) (AAMAS '16). International Foundation for Autonomous Agents and Multiagent Systems, Richland, SC, 485-493.
H. B. Mann and D. R. Whitney. 1947. On a Test of Whether one of Two Random Variables is Stochastically Larger than the Other. The Annals of Mathematical Statistics 18, 1 (1947), 50-60. doi:10.1214/aoms/1177730491
Volodymyr Mnih, Nicolas Heess, Alex Graves, and Koray Kavukcuoglu. 2014. Recurrent models of visual attention. In Proceedings of the 28th International Conference on Neural Information Processing Systems - Volume 2 (Montreal, Canada) (NIPS'14). MIT Press, Cambridge, MA, USA, 2204-2212.
Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, and Martin Riedmiller. 2013. Playing Atari with Deep Reinforcement Learning. arXiv:1312.5602 [cs.LG]
Francesco Orabona, Giorgio Metta, and Giulio Sandini. 2007. A Proto-object Based Visual Attention Model. In Attention in Cognitive Systems. Theories and Systems from an Interdisciplinary Viewpoint, Lucas Paletta and Erich Rome (Eds.). Springer Berlin Heidelberg, Berlin, Heidelberg, 198-215.
Rafael C. Pinto and Anderson R. Tavares. 2024. PReLU: Yet Another Single-Layer Solution to the XOR Problem. arXiv:2409.10821 [cs.NE]
Nils Reimers and Iryna Gurevych. 2019. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. arXiv:1908.10084 [cs.CL]
Ronald A Rensink. 2000. The dynamic representation of scenes. Visual cognition 7, 1-3 (2000), 17-42.
Rainer Storn and Kenneth V. Price. 1997. Differential Evolution - A Simple and Efficient Heuristic for global Optimization over Continuous Spaces. Journal of Global Optimization 11 (1997), 341-359. https://api.semanticscholar.org/CorpusID:5297867
Yujin Tang, Duong Nguyen, and David Ha. 2020. Neuroevolution of self-interpretable agents. In Proceedings of the 2020 Genetic and Evolutionary Computation Conference (Cancún, Mexico) (GECCO '20). Association for Computing Machinery, New York, NY, USA, 414-424. doi:10.1145/3377930.3389847
Naftali Tishby, Fernando C. Pereira, and William Bialek. 2000. The information bottleneck method. arXiv:physics/0004057 [physics.data-an]
Mark Towers, Ariel Kwiatkowski, Jordan Terry, John U. Balis, Gianluca De Cola, Tristan Deleu, Manuel Goulão, Andreas Kallinteris, Markus Krimmel, Arjun KG, Rodrigo Perez-Vicente, Andrea Pierré, Sander Schulhoff, Jun Jet Tai, Hannah Tan, and Omar G. Younis. 2024. Gymnasium: A Standard Interface for Reinforcement Learning Environments. arXiv:2407.17032 [cs.LG]
Stefan Treue and Julio C. Martínez Trujillo. 1999. Feature-based attention influences motion processing gain in macaque visual cortex. Nature 399 (1999), 575-579. https://api.semanticscholar.org/CorpusID:4424973
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. 2017. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems (Long Beach, California, USA) (NIPS'17). Curran Associates Inc., Red Hook, NY, USA, 6000-6010.
Shaun P. Vecera and Martha J. Farah. 1994. Does visual attention select objects or locations? Journal of experimental psychology. General 123 2 (1994), 146-60. doi:10.1037//0096-3445.123.2.146
Dirk Walther and Christof Koch. 2006. Modeling attention to salient proto-objects. Neural Networks 19, 9 (2006), 1395-1407. doi:10.1016/j.neunet.2006.10.001 Brain and Attention.
Jeremy M Wolfe. 1994. Guided search 2.0 a revised model of visual search. Psychonomic bulletin & review 1 (1994), 202-238.
William Woof and Ke Chen. 2018. Learning to Play General Video-Games via an Object Embedding Network. In 2018 IEEE Conference on Computational Intelligence and Games (CIG). IEEE, Maastricht, Netherlands, 1-8. doi:10.1109/CIG.2018.8490438
