प्रोटो-ऑब्जेक्ट्स पर सेल्फ-अटेंशन का न्यूरो-इवोल्यूशन

सार (Abstract)

प्रोटो-ऑब्जेक्ट्स (Proto-objects) – छवि के वे क्षेत्र जो समान दृश्य गुणों को साझा करते हैं – न्यूरल नेटवर्क में आयताकार-आकार के इमेज पैच पर आधारित पारंपरिक ध्यान (attention) तंत्रों का एक आशाजनक विकल्प प्रदान करते हैं। यद्यपि पिछले अध्ययनों ने यह प्रदर्शित किया है कि नियंत्रक नेटवर्क के साथ पैच-आधारित हार्ड-अटेंशन मॉड्यूल का विकास करके विजुअल रीइन्फोर्समेंट लर्निंग कार्यों में अत्याधुनिक प्रदर्शन प्राप्त किया जा सकता है, हमारा दृष्टिकोण उच्च-स्तरीय विशेषताओं के साथ काम करने के लिए इमेज सेगमेंटेशन का लाभ उठाता है। निश्चित पैच के बजाय प्रोटो-ऑब्जेक्ट्स पर काम करके, हम निरूपण जटिलता को महत्वपूर्ण रूप से कम करते हैं: प्रत्येक छवि नियमित पैच की तुलना में कम प्रोटो-ऑब्जेक्ट्स में विघटित होती है, और प्रत्येक प्रोटो-ऑब्जेक्ट को एक संक्षिप्त विशेषता वेक्टर के रूप में कुशलतापूर्वक एन्कोड किया जा सकता है। यह एक अत्यधिक छोटे सेल्फ-अटेंशन मॉड्यूल को सक्षम बनाता है जो अधिक समृद्ध अर्थविषयक (semantic) जानकारी को प्रोसेस करता है। हमारे प्रयोग दर्शाते हैं कि यह प्रोटो-ऑब्जेक्ट-आधारित दृष्टिकोण 62% कम मापदंडों (parameters) और 2.6 गुना कम प्रशिक्षण समय के साथ पैच-आधारित कार्यान्वयनों के अत्याधुनिक प्रदर्शन की बराबरी या उससे बेहतर प्रदर्शन करता है।

1 प्रस्तावना (Introduction)

उच्च-आयामी धारणा (perception) कार्यों में कम्प्यूटेशनल जटिलता को कम करने के लिए विजुअल अटेंशन मैकेनिज्म (visual attention mechanisms) एक शक्तिशाली समाधान के रूप में उभरे हैं। विजुअल इनपुट और कंट्रोल नेटवर्क के बीच एक सूचना अड़चन (information bottleneck) बनाकर, ये तंत्र जटिल दृश्यों के कुशल प्रसंस्करण को सक्षम बनाते हैं [14]। हाल के शोध ने प्रदर्शित किया है कि LSTM [10] कंट्रोलर के साथ संयुक्त रूप से एक हार्ड-अटेंशन मॉड्यूल को विकसित (evolve) करने से उल्लेखनीय रूप से कुशल एजेंट तैयार हो सकते हैं जो केवल छोटे इमेज पैच पर काम करते हैं [22]। इस दृष्टिकोण ने न केवल प्रतिस्पर्धी तरीकों की तुलना में काफी छोटे न्यूरल नेटवर्क तैयार किए, बल्कि कार रेसिंग (Car Racing) और डूम टेक कवर (Doom Take Cover) जैसे चुनौतीपूर्ण रीइन्फोर्समेंट लर्निंग वातावरणों में अत्याधुनिक परिणाम भी हासिल किए [3]। यह सफलता अटेंशन लेयर की अप्रासंगिक इनपुट क्षेत्रों को फ़िल्टर करने की क्षमता से आती है, जो मजबूत सामान्यीकरण और शोर प्रतिरोध प्रदान करते हुए नियंत्रक के कार्य को सरल बनाती है।

हम निश्चित आकार, समान रूप से वितरित पैच को प्रोटो-ऑब्जेक्ट्स – स्थानीय रूप से समान दृश्य विशेषताओं वाले सुसंगत क्षेत्रों [6] – से बदलकर इस शोध रेखा को आगे बढ़ाते हैं, जो इमेज सेगमेंटेशन [7] के माध्यम से प्राप्त होते हैं। निरूपण में यह बदलाव दो प्रमुख लाभ प्रदान करता है। पहला, वे अधिक कॉम्पैक्ट प्रतिनिधित्व प्रदान करते हैं, क्योंकि अधिकांश दृश्य पैच की तुलना में कम प्रोटो-ऑब्जेक्ट्स में विघटित होते हैं। दूसरा, प्रत्येक प्रोटो-ऑब्जेक्ट एक छोटे डिस्क्रिप्टर वेक्टर के माध्यम से आकार, आकारमान और रंग जैसी विशेषताओं को कैप्चर करते हुए अधिक समृद्ध अर्थविषयक जानकारी को एन्कोड करता है।

यह प्रोटो-ऑब्जेक्ट दृष्टिकोण एक महत्वपूर्ण रूप से सुव्यवस्थित वास्तुकला (architecture) को सक्षम बनाता है। उच्च-स्तरीय विशेषताओं को प्रोसेस करते समय सेल्फ-अटेंशन मॉड्यूल काफी छोटा हो जाता है, जिससे नियंत्रक के लिए बेहतर चयन और अधिक सटीक फ़िल्टर की गई जानकारी प्राप्त होती है, जिसे भी सरल बनाया जा सकता है। कार रेसिंग और डूम टेक कवर वातावरणों [3] में हमारे परिणाम प्रदर्शित करते हैं कि यह अधिक कुशल वास्तुकला 2.6 गुना तेजी से प्रशिक्षण के साथ मापदंडों की संख्या को 62% कम करते हुए पैच-आधारित कार्यान्वयनों के प्रदर्शन की बराबरी करती है या उससे अधिक हो जाती है।

2 पृष्ठभूमि (Background)

मानव दृश्य ध्यान का मॉडल तैयार करना पिछले 35 वर्षों से एक सक्रिय शोध क्षेत्र रहा है। ध्यान के कई अलग-अलग मॉडल प्रस्तावित किए गए थे, जिन्होंने तंत्रिका विज्ञान और मनोविज्ञान में सैद्धांतिक योगदान देने के अलावा, कंप्यूटर विज़न और रोबोटिक्स में सफल अनुप्रयोगों का प्रदर्शन किया है [2]। प्रारंभिक कम्प्यूटेशनल मॉडल मुख्य रूप से बॉटम-अप, सैलियंसी-आधारित अटेंशन पर केंद्रित थे, जबकि अधिक हालिया दृष्टिकोणों ने टॉप-डाउन प्रभावों और ऑब्जेक्ट-आधारित चयन तंत्रों को शामिल किया है।

जैविक दृश्य प्रणाली कुशल कृत्रिम दृष्टि प्रणालियों को डिजाइन करने के लिए महत्वपूर्ण अंतर्दृष्टि प्रदान करती है। एक मौलिक बाधा यह है कि न्यूरल संसाधन सीमित हैं - कोच एवं अन्य [11] ने प्रदर्शित किया कि रेटिनल गैंग्लियन कोशिकाएं अपेक्षाकृत कम फायरिंग दरों का उपयोग करने के बावजूद अत्यधिक कुशल कोडिंग प्राप्त करते हुए, सूचना प्रसारण के खिलाफ चयापचय लागत (metabolic costs) को संतुलित करती हैं। यह समान रूप से सभी इनपुट को प्रोसेस करने का प्रयास करने के बजाय रणनीतिक सूचना अड़चनों की ओर एक विकासवादी दबाव का सुझाव देता है। वाल्थर और कोच [28] ने दिखाया कि ऐसी ही एक अड़चन प्रोटो-ऑब्जेक्ट स्तर पर होती है, जहां पूर्ण वस्तु पहचान होने से पहले उन्नत प्रसंस्करण के लिए दृश्य के सुसंगत क्षेत्रों का चयन किया जाता है। यह दृश्य प्रणाली को उच्च कोडिंग दक्षता बनाए रखते हुए जटिल दृश्यों को प्रबंधनीय टुकड़ों में क्रमबद्ध (serialize) करने की अनुमति देता है।

2.1 दृश्य ध्यान तंत्र के प्रकार

जैविक प्रणालियों में दृश्य ध्यान तीन प्राथमिक तंत्रों के माध्यम से कार्य करता है। स्थान-आधारित ध्यान (Space-based attention) दृश्य क्षेत्र में विशिष्ट स्थानों पर कार्य करता है, ध्यान को एक स्पॉटलाइट के रूप में देखता है जो चयनित स्थानिक निर्देशांकों पर प्रसंस्करण को बढ़ाता है। विशेषता-आधारित ध्यान (Feature-based attention) स्थानिक स्थिति की परवाह किए बिना पूरे दृश्य क्षेत्र में विशिष्ट विशेषताओं (जैसे रंग, अभिविन्यास या गति) के प्रसंस्करण को चुनिंदा रूप से बढ़ाता है। वस्तु-आधारित ध्यान (Object-based attention) अवधारणात्मक रूप से समूहीकृत तत्वों पर काम करता है जो सुसंगत वस्तुएं बनाते हैं, यह सुझाव देते हुए कि ध्यान केवल स्थानिक स्थानों या व्यक्तिगत विशेषताओं के बजाय संपूर्ण वस्तु निरूपण का चयन करता है [5, 25, 27]।

2.2 सेल्फ-अटेंशन

आधुनिक कम्प्यूटेशनल ध्यान में एक प्रमुख तंत्र सेल्फ-अटेंशन लेयर है। अपने मानक रूप में [26], सेल्फ-अटेंशन N इनपुट वैक्टर के सेट पर काम करता है, जिनमें से प्रत्येक आयाम d_in का होता है, जो सीखे गए वेट मैट्रिस W_O और W_K के माध्यम से उन्हें रैखिक रूप से ट्रांसफॉर्म करके क्वेरी (Q) और की (K) मैट्रिस प्राप्त करता है:

S = softmax( QK^T / √d_k ) (1)

जहाँ d_k की वैक्टर का आयाम है। अटेंशन स्कोर S दिखाता है कि इनपुट तत्व कितने संबंधित हैं। S को आगे एक मैट्रिक्स V के साथ जोड़ा जाता है, जो कि इनपुट का एक रैखिक परिवर्तन भी है, ताकि संदर्भ निरूपण (contextual representation) A = SV बनाया जा सके, जिसके वैक्टर में समग्र संदर्भ पर विचार करते हुए प्रत्येक इनपुट का निरूपण होता है।

2.3 प्रोटो-ऑब्जेक्ट्स और सूचना अड़चनें

प्रोटो-ऑब्जेक्ट्स कच्चे दृश्य विशेषताओं और पूरी तरह से पहचानी गई वस्तुओं के बीच एक मध्यवर्ती निरूपण हैं [19, 28]। वे पूर्व-अटेंटिव प्रोसेसिंग के दौरान बनते हैं और दृश्य क्षेत्र के सुसंगत क्षेत्रों का प्रतिनिधित्व करते हैं जो सामान्य दृश्य गुणों को साझा करते हैं। ये संरचनाएं पूर्ण वस्तु पहचान होने से पहले ध्यान के लिए संभावित उम्मीदवारों के रूप में कार्य करती हैं [16], जिससे दृश्य प्रणाली को प्रसंस्करण संसाधनों को कुशलतापूर्वक प्राथमिकता देने की अनुमति मिलती है।

दृश्य प्रसंस्करण में सूचना अड़चनें (information bottlenecks) कार्य-संबंधित जानकारी को संरक्षित करते हुए उच्च-आयामी दृश्य इनपुट को अधिक प्रबंधनीय निरूपण में कंप्रेस करने का काम करती हैं [11, 23]। ये अड़चनें प्रारंभिक दृश्य विशेषताओं से लेकर वस्तु पहचान तक, प्रसंस्करण के विभिन्न स्तरों पर हो सकती हैं, और दृश्य प्रसंस्करण के लिए आवश्यक कम्प्यूटेशनल संसाधनों को प्रबंधित करने में महत्वपूर्ण भूमिका निभाती हैं [29]। प्रोटो-ऑब्जेक्ट्स का निर्माण स्वयं एक प्राकृतिक सूचना अड़चन का प्रतिनिधित्व करता है, क्योंकि यह व्यवहारिक रूप से प्रासंगिक जानकारी को बनाए रखते हुए दृश्य की जटिलता को कम करता है [28]।

4 प्रोटो-ऑब्जेक्ट अटेंशनल एजेंट (Proto-Object Attentional Agent)

हमारा काम कंप्यूटर विज़न, डीप लर्निंग और इवोल्यूशनरी कंप्यूटेशन में शोध की कई दिशाओं पर निर्मित होता है और उन्हें जोड़ता है। हम एक हाइब्रिड सिस्टम बनाने के लिए दृश्य ध्यान के जैविक मॉडल, कुशल न्यूरल आर्किटेक्चर और क्लासिक कंप्यूटर विज़न तकनीकों की अंतर्दृष्टि को मिलाते हैं जो प्रत्येक दृष्टिकोण की ताकत का लाभ उठाता है। हम कच्चे पिक्सल या मनमाने पैच के बजाय प्रोटो-ऑब्जेक्ट्स पर हार्ड-अटेंशन तंत्र लागू करते हैं। यह दृष्टिकोण Koch एवं अन्य [11] द्वारा जैविक प्रणालियों में देखे गए समान एक सूचना अड़चन को लागू करता है, जबकि [16, 19] द्वारा वर्णित अर्थपूर्ण प्रोटो-ऑब्जेक्ट्स पर काम करता है। प्रसंस्करण के लिए केवल सबसे प्रासंगिक प्रोटो-ऑब्जेक्ट्स का चयन करके, हम पिछले दृष्टिकोणों की तुलना में अधिक अर्थपूर्ण स्तर पर एक सूचना अड़चन बनाते हैं।

यह संयोजन विशेष रूप से न्यूरो-इवोल्यूशन के लिए अनुकूल है, क्योंकि शीर्ष-k प्रोटो-ऑब्जेक्ट्स का असतत चयन और नियंत्रक को निर्देशांक का स्थानांतरण गैर-अवकलनीय (non-differentiable) संचालन बनाते हैं जो ग्रेडिएंट-आधारित तरीकों के लिए चुनौतीपूर्ण हैं लेकिन विकासवादी दृष्टिकोणों के लिए स्वाभाविक हैं। इसके अतिरिक्त, मॉडल को दृश्य इनपुट के किन हिस्सों को प्रोसेस करना है, इसके बारे में स्पष्ट रूप से चयनात्मक होने के लिए मजबूर करके, हम प्रत्यक्ष व्याख्यात्मकता प्राप्त करते हैं - हम सटीक रूप से कल्पना कर सकते हैं कि मॉडल अपने निर्णयों के लिए किन प्रोटो-ऑब्जेक्ट्स को महत्वपूर्ण मानता है, जो उसके निर्णय लेने की प्रक्रिया में अंतर्दृष्टि प्रदान करता है जो अक्सर पारंपरिक डीप लर्निंग दृष्टिकोणों में गायब होती है।

4.1 कार्यान्वयन (Implementation)

हमारी विधि में 5 मुख्य चरण शामिल हैं: कॉन्वोल्यूशन, क्वांटाइजेशन, सेगमेंटेशन, अटेंशन और कंट्रोल, जिनका विवरण नीचे दिया गया है।

4.1.1 कॉन्वोल्यूशन (Convolution)

कॉन्वोल्यूशन चरण का उद्देश्य अगले चरणों के लिए पूर्व-संसाधित निरूपण प्रदान करते हुए, मूल छवि चैनल को शिफ्ट, रीस्केल, फ़िल्टर और/या मिक्स करना है। विशेष रूप से, हमारे प्रयोगों में, हम 3 1x1 फ़िल्टर के साथ एक एकल कॉन्वोल्यूशन लेयर का उपयोग करते हैं। अवशिष्ट कनेक्शन (residual connection) के साथ संगतता के लिए 3 फ़िल्टर का चयन आवश्यक है। अधिक कॉन्वोल्यूशनल लेयर्स को जोड़ा जा सकता है जब तक कि वे समान छवि आकार बनाए रखें। इस मामले में, 3 फ़िल्टर के साथ एक अंतिम लेयर जोड़ना आयामों की संख्या को छवि में चैनलों की समान संख्या तक लाने के लिए पर्याप्त है। उसके बाद, हम कॉन्वोल्यूशन आउटपुट में मूल छवि को जोड़ते हैं, जिससे एक अवशिष्ट कनेक्शन [9] बनता है, जिसका कार्य अगले चरण में स्पष्ट हो जाएगा।

4.1.2 क्वांटाइजेशन (Quantization)

क्वांटाइजेशन का उद्देश्य अगले चरणों में प्रोसेस की जाने वाली जानकारी की मात्रा को कम करना है। हमारे प्रयोगों में, हम प्रति चैनल 1 बिट का उपयोग करके कॉन्वोल्यूशन आउटपुट का सरल यूनिफॉर्म क्वांटाइजेशन करते हैं (अधिक जटिल कार्यों के लिए अधिक हो सकता है, और विकसित भी किया जा सकता है)। परिणामस्वरूप, हम अधिकतम 8 अलग-अलग रंगों वाली एक छवि प्राप्त करते हैं, जिनमें से प्रत्येक एक अलग प्रकार के सेगमेंट का प्रतिनिधित्व करती है। ध्यान दें कि, एक साधारण फिक्स्ड क्वांटाइजेशन होने के अलावा, इससे पहले की कॉन्वोल्यूशनल लेयर के साथ इसका संयोजन एक अनुकूली सेगमेंटेशन और क्वांटाइजेशन तंत्र का परिणाम देता है।

इस चरण में कॉन्वोल्यूशन के साथ तालमेल है: मूल छवि चैनलों का शिफ्ट, रीस्केल और मिक्स उन्हें अलग-अलग क्वांटाइजेशन बिन्स में रख सकता है। लेकिन चूंकि एक उपयुक्त सेगमेंटेशन खोजने के लिए आवश्यक इवोल्यूशन फिटनेस सतह में असतत उछाल (discontinuous jumps) होते हैं, जिन्हें हल करने में इवोल्यूशनरी एल्गोरिदम को कुछ समय लग सकता है, हम मूल छवि रंगों पर एक सामान्य सेगमेंटेशन से इवोल्यूशन को किकस्टार्ट करने के साधन के रूप में पिछले चरण में अवशिष्ट कनेक्शन का उपयोग करते हैं। इस प्रकार, कॉन्वोल्यूशन का उद्देश्य सेगमेंटेशन को सामान्य से दूर बदलना है (यदि आवश्यक हो)।

4.1.3 सेगमेंटेशन (Segmentation)

सेगमेंटेशन का उद्देश्य प्रोटो-ऑब्जेक्ट्स बनाना है, यानी पिछले चरणों से प्राप्त अर्थपूर्ण रूप से समान पिक्सल के क्षेत्रों के लिए डिस्क्रिप्टर। इस कार्य में, हम रंग-कनेक्टेड क्षेत्रों द्वारा छवि लेबलिंग लागू करते हैं [7, 20]। प्रत्येक निकाले गए क्षेत्र से, विशेषताओं का एक सेट प्राप्त किया जा सकता है, जिसके परिणामस्वरूप d_in विशेषताएं प्राप्त होती हैं (1 पिक्सेल चौड़े या लंबे क्षेत्रों को शोर माना जाता है और अनदेखा कर दिया जाता है)।

विस्तृत प्रयोगों के बाद, हमने d_in = 11 विशेषताओं का एक सेट तैयार किया, अर्थात: क्वांटाइज्ड सेगमेंट रंग (R, G, B), द्रव्यमान का केंद्र (X, Y), पिक्सल में कुल क्षेत्रफल, बाउंडिंग बॉक्स चौड़ाई, बाउंडिंग बॉक्स ऊंचाई, बाउंडिंग बॉक्स क्षेत्रफल, एस्पेक्ट रेशियो और सीमा (क्षेत्रफल द्वारा विभाजित बाउंडिंग बॉक्स क्षेत्रफल)। इन सभी की गणना प्राप्त क्षेत्रों से आसानी से और कुशलता से की जा सकती है, और अगले चरण को अधिक सूचित निर्णय लेने में मदद मिलेगी। ओरिएंटेशन (पिक्सल निर्देशांकों के बीच सहसंबंध) भी उपयोगी हो सकता था, लेकिन इसने हमारे मॉडल में बहुत अधिक रनटाइम ओवरहेड जोड़ दिया और इसे छोड़ दिया गया। सभी मान -1 और 1 के बीच सामान्यीकृत होते हैं, और एस्पेक्ट रेशियो को भी लॉग-ट्रांसफॉर्म किया जाता है ताकि 1 और -1 चरम अनुपातों से मेल खाते हों, जबकि 0 का अर्थ बराबर भुजाएं हैं:

NormAspectRatio = 2 * log(aspectRatio) / log(max(imageWidth, imageHeight)) - 1

4.1.4 अटेंशन (Attention)

अटेंशन मॉड्यूल का उद्देश्य सेगमेंटेशन चरण में पहचाने गए प्रोटो-ऑब्जेक्ट्स के बीच संबंधों का मॉडल तैयार करना है। N प्रोटो-ऑब्जेक्ट्स की विशेषताओं को अटेंशन शब्दावली में N d_in-आयामी टोकन के एक सेट के रूप में हमारे मॉडल की अटेंशन लेयर में फीड किया जाता है [26]। अटेंशन लेयर इन टोकन को दो d_q-आयामी वैक्टर Q और K में एम्बेड करती है। हालांकि, हमारे कार्यान्वयन में एक अतिरिक्त स्पर्श है: हम रैखिक परिवर्तनों से पहले और बाद में एक पैरामैट्रिक रेक्टिफाइड लीनियर यूनिट (PReLU) लेयर जोड़ते हैं। PReLU, ReLU सक्रियण (activation) का एक सामान्यीकरण है, जहाँ नकारात्मक भाग का ढलान प्रत्येक लेयर या न्यूरॉन (हमारे मामले में अंतिम) के लिए अनुकूली (PReLU(x) = max(ax, x)) होता है। केवल 15 अतिरिक्त मापदंडों के लिए, यह हमारी अटेंशन लेयर को अधिक जटिल संबंधों का मॉडल बनाने में सक्षम बनाता है, क्योंकि एक सिंगल PReLU न्यूरॉन को XOR समस्या को हल करने के लिए दिखाया गया था [17]। हमारे मामले में, यह 'a' के नकारात्मक होने पर (फंक्शन को नॉन-मोनोटोनिक बनाते हुए) मिडरेंज मानों (जैसे ग्रे रंग) का चयन करने में सक्षम बनाता है, जो शुद्ध रैखिक परतों के साथ संभव नहीं है। पारंपरिक सेल्फ-अटेंशन की अधिक लेयर्स का उपयोग इसके बजाय किया जा सकता था, लेकिन हमने मापदंडों की संख्या और रनटाइम को कम रखने के लिए इस काम में सरल PReLU समाधान का विकल्प चुना।

सामान्य सेल्फ-अटेंशन प्रक्रिया के साथ आगे बढ़ते हुए, समीकरण 1 द्वारा एक अटेंशन मैट्रिक्स की गणना की जाती है, और फिर रो-वाइज (row-wise) योग द्वारा एक महत्व वेक्टर प्राप्त किया जाता है। पारंपरिक सेल्फ-अटेंशन में किए गए V मैट्रिक्स के साथ टोकन के सामान्य मिश्रण के बजाय, हम परिणामी रो-वाइज योग पर केवल शीर्ष-k प्रोटो-ऑब्जेक्ट चयन करते हैं।

हम ध्यान देते हैं कि टोकन N की संख्या पर अटेंशन की गणना में द्विघात स्पर्शोन्मुख समय जटिलता (quadratic asymptotic time complexity) होती है। पैच के बजाय प्रोटो-ऑब्जेक्ट्स का उपयोग करके टोकन की संख्या को अत्यधिक कम करने से हमारा अटेंशन मॉड्यूल बहुत तेज़ हो जाता है।

हमारे प्रयोगों में, हम चरम पर गए और k = 1 सेट किया (एक सिंगल प्रोटो-ऑब्जेक्ट के निर्देशांक कंट्रोलर को पास किए जाते हैं, जिसे आगे वर्णित किया गया है)। यह संभव है क्योंकि हमारा अटेंशन मॉड्यूल मूल से अधिक अभिव्यंजक है और प्रोटो-ऑब्जेक्ट्स में उच्च-स्तरीय जानकारी होती है, जिससे नियंत्रक के लिए अपने निर्णय लेने के लिए एक सिंगल अच्छी तरह से चुना गया प्रोटो-ऑब्जेक्ट पर्याप्त होता है (बेहतर चयन का अर्थ है नियंत्रक के लिए कम काम)। यह अधिक जैविक रूप से प्रशंसनीय भी है, क्योंकि हम एक समय में एक ही दृश्य आइटम पर ध्यान केंद्रित करते हैं [4]।

4.1.5 कंट्रोल (Control)

अंत में, कंट्रोल चरण वातावरण में प्रदर्शन करने के लिए एक क्रिया का चयन करता है। हमारे कार्यान्वयन में, चयनित प्रोटो-ऑब्जेक्ट्स से प्रत्येक विशेषता वेक्टर पर एक ट्रांसफर फ़ंक्शन f(n) लागू किया जाता है और परिणामों को कॉनकेटेनेट करके एक LSTM [10] नियंत्रक को इनपुट के रूप में फीड किया जाता है, जो लौकिक संघों को सीखने और नियंत्रण आउटपुट उत्पन्न करने के लिए जिम्मेदार है।

हमारे मामले में, f(n) केवल प्रोटो-ऑब्जेक्ट द्रव्यमान केंद्र के निर्देशांक लौटाता है। नियंत्रक को प्रत्येक चयनित प्रोटो-ऑब्जेक्ट के अधिक गुणों के साथ फीड करने के लिए अधिक विस्तृत ट्रांसफर फ़ंक्शंस का उपयोग किया जा सकता है, लेकिन द्रव्यमान का केंद्र हमारी समस्याओं के लिए पर्याप्त था। यह संभव है क्योंकि अटेंशन और कंट्रोल मॉड्यूल का संयुक्त इवोल्यूशन एक निहित "समझौते" का परिणाम देता है: हमेशा एक ही प्रकार के प्रोटो-ऑब्जेक्ट (घास, ट्रैक, आदि...) का चयन करके, नियंत्रक को यह अनुमान लगाने की आवश्यकता नहीं है कि यह कौन सा है। यदि अटेंशन हर बार अलग-अलग प्रकार के प्रोटो-ऑब्जेक्ट्स पर केंद्रित होता, तो केवल उनके निर्देशांक द्वारा उन्हें अलग करना संभव नहीं होता, जब तक कि वे स्क्रीन के विशिष्ट क्षेत्रों में लगातार दिखाई न दें, स्थिति द्वारा पहचाने जाने योग्य (जैसे हेड-अप डिस्प्ले हमेशा स्क्रीन के नीचे)। नियंत्रक द्वारा उन्हें अलग भी किया जा सकता है यदि अटेंशन मॉड्यूल लगातार एक ही प्रकार के प्रोटो-ऑब्जेक्ट्स को समान रैंकिंग स्पॉट में रखता है (उदा., घास पहले, ट्रैक दूसरा), लेकिन यह सीखी जाने वाली जटिलता का एक अतिरिक्त हिस्सा है।

4.2 अवलोकन (Overview)

हमारे हाइपरपैरामीटर विकल्पों और छवि पैच पर आधारित पिछले कार्य [22] के बीच अंतर का सारांश तालिका 1 में दिखाया गया है, साथ ही प्रत्येक मॉडल में सीखे जाने वाले मापदंडों की परिणामी संख्या, यह दर्शाती है कि हमारा मॉडल अपनी कॉम्पैक्ट अटेंशन लेयर और k = 1 के साथ छोटे बॉटलनेक के कारण कुल मिलाकर काफी (62%) छोटा है। पूरी प्रक्रिया चित्र 3 में देखी जा सकती है। यद्यपि यह मॉडल गैर-अवकलनीय है, यह CMA-ES [8] जैसे व्युत्पन्न-मुक्त अनुकूलन विधियों (derivative-free optimization methods) के माध्यम से सीखने योग्य है।

**तालिका 1:** पैच-आधारित मॉडल [22] और प्रोटो-ऑब्जेक्ट-आधारित मॉडल (हमारा) में हाइपरपैरामीटर और सीखने योग्य मापदंडों की संख्या की तुलना। बाद वाला 62% कम सीखने योग्य मापदंडों का उपयोग करता है।
मॉडल हाइपरपैरामीटर्स	पैच [22]	प्रोटो-ऑब्जेक्ट्स (हमारा)
अटेंशन इनपुट साइज (d_in)	147	11
एम्बेडिंग साइज (d)	4	2
K	10	1
f(n) आयाम	2	2
LSTM इनपुट साइज	20	2
LSTM न्यूरॉन्स की संख्या	16	16
सीखने योग्य मापदंडों की संख्या
कॉन्वोल्यूशन	0	12
अटेंशन	1184	63
LSTM	2432	1280
आउटपुट	51	51
कुल	3667	1406

**चित्र 3:** हमारी पूरी प्रक्रिया का फ्लोचार्ट। हमारे प्रयोगों में, H = W = 96, F = 11 (सेगमेंट सुविधाओं की संख्या), d_q = 2, M = 2 (हम प्रत्येक टोकन से केवल x, y निर्देशांक का उपयोग करते हैं), k = 1 और O = 3 (दोनों वातावरणों के लिए आउटपुट की संख्या)। किसी भी संख्या में कॉन्वोल्यूशनल लेयर्स का उपयोग किया जा सकता है, जब तक कि वे छवि आकार को बनाए रखते हैं और अंतिम में अवशिष्ट कनेक्शन से मेल खाने के लिए 3 फ़िल्टर होते हैं। हम 3 1x1 फ़िल्टर की एक लेयर का उपयोग करते हैं। हमारा क्वांटाइजेशन प्रति चैनल 1 बिट (8 रंग) पर सेट है। P, PReLU सक्रियण फ़ंक्शन है। हरे रंग के तत्व [22] के संबंध में नए हैं।

5 प्रयोग और परिणाम (Experiments and Results)

[22] के पैच-आधारित दृष्टिकोण से हमारे दृष्टिकोण की तुलना करने के लिए, हम इसे [22] के समान वातावरण पर परीक्षण करते हैं: कार रेसिंग और डूम टेक कवर [3]। दोनों के लिए, हम 1000 पीढ़ियों के लिए 128 समाधानों की आबादी के साथ CMA-ES चलाते हैं और हर पीढ़ी में 8 बीजों पर मॉडल का मूल्यांकन करते हैं। बीज पीढ़ी और पुनरावृत्ति संख्या पर आधारित होते हैं। हम प्रत्येक 100 पीढ़ियों में 400 नए बीजों पर मॉडल का परीक्षण करते हैं और 95% आत्मविश्वास अंतराल उत्पन्न करने के लिए माध्य और भिन्नता निकालते हैं। सांख्यिकीय महत्व दो-तरफा मान-व्हिटनी यू परीक्षणों से प्राप्त होता है [13]। ध्यान दें कि [22] में मूल प्रयोग प्रत्येक 16 बीजों और 256 समाधानों की आबादी के साथ 2000 पीढ़ियों के लिए चले थे, इसलिए वे सीधे तुलनीय नहीं हैं। हमने हार्डवेयर सीमाओं के कारण उन हाइपरपैरामीटरों में से प्रत्येक को आधा कर दिया, और निष्पक्ष तुलना के लिए इस नए सेटअप में फिर से मूल प्रयोग किए।

हमारे प्रयोग निम्नलिखित हार्डवेयर सेटअप पर चले: AMD Ryzen 5950X CPU, 128GB DDR4 3200 RAM और Nvidia RTX 3090 GPU। प्रशिक्षण को 32 थ्रेड्स पर समानांतर किया गया था, जिससे प्रत्येक मूल्यांकन एक एकल थ्रेड तक सीमित था। पैच-आधारित समाधान ने GPU का लाभ उठाया, लेकिन हमारी विधि CPU के लिए अनुकूलित की गई थी, क्योंकि मल्टी-लेबल कनेक्टेड-कंपोनेंट्स विश्लेषण और लेबलिंग GPU के साथ अच्छी तरह से फिट नहीं बैठते थे।

5.1 कार रेसिंग (Car Racing)

यह यादृच्छिक रूप से उत्पन्न पटरियों के साथ एक टॉप-डाउन रेसिंग वातावरण है (जैसा कि चित्र 1 और 2 में देखा गया है)। यह हमारी दृष्टिकोण के कॉन्वोल्यूशन और क्वांटाइजेशन चरणों को छोड़ने के लिए दृश्य रूप से काफी सरल है, लेकिन हम विधि की व्यापकता को सत्यापित करने के लिए उन्हें वैसे भी करते हैं। इनाम हर फ्रेम पर -0.1 है, ट्रैक से बहुत दूर जाने के लिए -100 (जो समाप्ति का कारण भी बनता है), और ट्रैक पर जाने वाले प्रत्येक ट्रैक टाइल के लिए +1000/N है, जहाँ N ट्रैक पर विज़िट किए गए टाइलों की कुल संख्या है (टाइलें ग्रे के थोड़े अलग रंगों के रूप में दिखाई देती हैं), और इसे 900 से अधिक अंकों पर हल किया हुआ माना जाता है। यह नियंत्रक को तेज़ और सटीक होने के लिए प्रोत्साहित करता है। 3 निरंतर क्रियाएं हैं: स्टीयरिंग (-1 पूर्ण बाएं है, +1 पूर्ण दाएं है), गैस और ब्रेकिंग। इस वातावरण का एक संस्करण V2 उपलब्ध है ¹, लेकिन यह Pygame ² का उपयोग करता है, जो धीमा है। हम V0 का उपयोग करते हैं, जो OpenGL का उपयोग करके दोगुना तेज़ है, और हमारे स्वयं के अनुकूलन लागू करते हैं जो एक और 2x स्पीडअप जोड़ता है। नए एपीआई [24] के साथ संगतता और बेहतर हार्डवेयर एवं सॉफ्टवेयर संगतता को छोड़कर दोनों संस्करणों के बीच कोई महत्वपूर्ण अंतर नहीं है।

हमारी विधि अधिक नमूना-कुशल (sample-efficient) थी, प्रशिक्षण के दौरान बेहतर औसत स्कोर के साथ, और प्रशिक्षण के बाद 910.39 का काफी बेहतर (p = 1.1e-22) स्कोर हासिल किया (चित्र 4)। इसके अलावा, जैसा कि तालिका 2 से पता चलता है, इसने पैच-आधारित समाधान के रूप में प्रति फ्रेम केवल 2% टोकन की संख्या का उपयोग करके और 62% कम समायोज्य मापदंडों का उपयोग करके ऐसा किया। और सीपीयू पर चलने के बावजूद, इसने पैच-आधारित विधि के संबंध में 2.7 गुना तेज़ी से प्रशिक्षण लिया, जो जीपीयू पर चली थी।

¹https://gymnasium.farama.org/environments/box2d/car_racing/
²https://www.pygame.org

प्रत्येक दिखाई गई पीढ़ी के लिए प्रशिक्षण नमूना ट्रैक से बाहर 400 टेस्ट रन पर कार रेसिंग वातावरण में सीखने की अवधि की तुलना — **चित्र 4:** कार रेसिंग वातावरण में प्रत्येक दिखाई गई पीढ़ी के लिए प्रशिक्षण नमूना पटरियों से बाहर 400 टेस्ट रन पर सीखने की अवधि (learning curve) की तुलना। हमारा प्रोटो-ऑब्जेक्ट तरीका [22] के पैच-आधारित के संबंध में 1000 पीढ़ियों के बाद महत्वपूर्ण रूप से बेहतर परिणाम प्राप्त करता है। दोनों 1000 पीढ़ियों पर चरम पर थे।

समय में 5 प्रासंगिक बिंदुओं पर सेगमेंटेशन का विकास। बुनियादी ध्यान रणनीति (छोटे घास क्षेत्र पर ध्यान केंद्रित करना, काले रंग में सेंट्रॉइड के साथ सफेद रंग में हाइलाइट किया गया; गुलाबी रंग में अन्य सेंट्रॉइड) प्रक्रिया में जल्दी सीखी जाती है, जबकि सेगमेंटेशन अंत तक विकसित होता रहता है — **चित्र 5:** समय में 5 प्रासंगिक बिंदुओं पर सेगमेंटेशन का इवोल्यूशन। बुनियादी ध्यान रणनीति (छोटे घास के क्षेत्र पर ध्यान केंद्रित करना, काले रंग में सेंट्रॉइड के साथ सफेद रंग में हाइलाइट किया गया; गुलाबी रंग में अन्य सेंट्रॉइड) प्रक्रिया में जल्दी सीखी जाती है, जबकि सेगमेंटेशन अंत तक विकसित होता रहता है। शीर्ष-बाएं: आकार बदलने के बाद और सेगमेंटेशन से पहले कच्ची छवि। शीर्ष-केंद्र (100 पीढ़ियां): मूल रंगों से सामान्य सेगमेंटेशन पहली दो सौ पीढ़ियों के लिए रखा जाता है। शीर्ष-दाएं (300 पीढ़ियां): यह ट्रैक को नीचे दिए गए हेड-अप डिस्प्ले (HUD) से अलग करना सीखता है और कुछ एबीएस सेंसरों को अलग करता है। नीचे-बाएं (800 पीढ़ियां): यह ट्रैक और एचयूडी सेगमेंटेशन की अदला-बदली करता है, जिससे कार दिखाई देती है, लाल कोने के मार्करों को अलग करती है और गायरोस्कोप संकेतकों को छिपाती है। यह स्कोर और गति संकेतक से कोने के सफेद निशानों को भी अलग करता है, और एबीएस सेंसरों को फिर से मर्ज करता है। नीचे-केंद्र (900 पीढ़ियां): यह ट्रैक सेगमेंट को अलग करता है। नीचे-दाएं (1000 पीढ़ियां): यह ट्रैक के सूक्ष्म सेगमेंटेशन को छोड़ देता है और स्कोर में कुछ पिक्सल में बहुत छोटे और अप्रासंगिक बदलावों के साथ पिछली सेगमेंटेशन रणनीति पर वापस चला जाता है।

इस प्रयोग का एक दिलचस्प पहलू सेगमेंटेशन और अटेंशन के विकास का निरीक्षण करना है, जैसा कि चित्र 5 दिखाता है। समाधान कार्य के मूल रंगों पर सामान्य क्वांटाइजेशन के साथ शुरू होता है, लेकिन चूंकि ट्रैक गहरा है, यह स्क्रीन के निचले हिस्से में काले हेड-अप डिस्प्ले (HUD) के साथ विलय हो जाता है। फिर भी, यह पहले से ही जानता है कि छोटे घास के क्षेत्र पर कैसे ध्यान केंद्रित करना है, क्योंकि यह आमतौर पर उस दिशा की ओर इशारा करता है जहाँ कार को मुड़ना चाहिए। 300 पीढ़ियों में यह ट्रैक को एचयूडी से अलग करना सीखता है, जबकि 800 पीढ़ियों में यह कार और लाल कोने के निशानों को ट्रैक से अलग करता है। जबकि कार बेकार है (यह हमेशा एक ही स्थान पर होती है और अन्य प्रयोगों में ट्रैक के साथ विलय हो गई थी), लाल निशान अपने आस-पास के घास क्षेत्र पर (क्वेरी के रूप में) "मतदान" करके सही मोड़ने की दिशा को सुदृढ़ कर सकते हैं। 900 पीढ़ियों पर, यह ट्रैक टाइल्स को सेगमेंट करना सीखता है, लेकिन अंतिम समाधान में इसे छोड़ देता है। इसके प्रसंस्करण चरणों में विघटित अंतिम समाधान चित्र 6 में देखा जा सकता है।

चित्र 6: कार रेसिंग वातावरण में प्रसंस्करण चरण। शीर्ष-बाएं: कच्ची छवि 96x96 पर आकार बदला गया। शीर्ष-दाएं: 1x1 कॉन्वोल्यूशन + अवशिष्ट। नीचे-बाएं: क्वांटाइजेशन। नीचे-दाएं: k=1 के साथ ध्यान।

5.2 डूम टेक कवर (Doom Take Cover)

यह कार्य गेम डूम पर आधारित है, जो दृश्य रूप से अधिक जटिल है और इसमें पिछली कार्य की तुलना में बहुत अधिक रंग हैं (चित्र 8 देखें, शीर्ष-बाएं), सेगमेंट की एक बड़ी संख्या को रोकने के लिए कॉन्वोल्यूशन और क्वांटाइजेशन चरणों को कड़ाई से आवश्यक बनाता है। यह एक आयताकार कमरे में होता है। एजेंट को दीवार के साथ उत्पन्न किया जाता है, और राक्षसों को लगातार और यादृच्छिक रूप से विपरीत दीवार के साथ उत्पन्न किया जाता है। वे जीवित रहने के लिए एजेंट पर आग के गोले (fireballs) फेंकते रहते हैं। एजेंट को जीवित प्रत्येक टिक के लिए 1 इनाम बिंदु मिलता है और 3 असतत क्रियाएं होती हैं: बाएं मुड़ें, दाएं मुड़ें या खड़े रहें।

प्रत्येक दिखाई गई पीढ़ी के लिए प्रशिक्षण नमूना बीजों से बाहर 400 टेस्ट रन पर डूम टेक कवर वातावरण में सीखने की अवधि की तुलना — **चित्र 7:** डूम टेक कवर वातावरण में प्रत्येक दिखाई गई पीढ़ी के लिए प्रशिक्षण नमूना बीजों से बाहर 400 टेस्ट रन पर सीखने की अवधि की तुलना। k = 1 के साथ हमारे तरीके ने कम नमूना-दक्षता दिखाई लेकिन 1000 पीढ़ियों के बाद [22] के संबंध में समान प्रदर्शन हासिल किया, जिसने 700 पीढ़ियों में उच्चतम प्रदर्शन प्राप्त किया (सर्वश्रेष्ठ समाधानों के बीच p = 0.414)। हालांकि, k = 10 (पैच-आधारित सेटअप के समान) और पाठ में विस्तृत आगे के समायोजन के साथ, हमारे समाधान में बेहतर नमूना-दक्षता थी और 55 घंटे के प्रशिक्षण में 700 पीढ़ियों में महत्वपूर्ण रूप से उच्च (p = 2.8e−5) प्रदर्शन (1193 स्कोर) प्राप्त किया।

चित्र 8: डूम टेक कवर वातावरण में प्रसंस्करण चरण। शीर्ष-बाएं: 96x96 पर आकार बदला गया कच्ची छवि। शीर्ष-दाएं: 1x1 कॉन्वोल्यूशन + अवशिष्ट। नीचे-बाएं: क्वांटाइजेशन। नीचे-दाएं: अटेंशन। ध्यान दें कि यह समाधान क्वांटाइजेशन चरण से ही आग के गोलों को पूरी तरह से नजरअंदाज कर देता है।

सीखने की अवधियां चित्र 7 में दिखाई गई हैं। हम देखते हैं कि हमारे दृष्टिकोण में थोड़ा कम नमूना-दक्षता थी, पैच-आधारित मॉडल प्रदर्शन (p = 0.414) से मेल खाने के लिए अधिक पीढ़ियों की आवश्यकता थी। हमने d_q = 4, k = 10 (पैच-आधारित सेटअप के समान) और 3x3 कॉन्वोल्यूशन (2671 मापदंडों) के साथ भी प्रयोग किया और इस समाधान में बेहतर नमूना-दक्षता थी और 55 घंटे के प्रशिक्षण में 1193 स्कोर पर महत्वपूर्ण रूप से (p = 2.8e-5) उच्च प्रदर्शन प्राप्त किया। हम अनुमान लगाते हैं कि प्रदर्शन में गिरावट k = 1 के कारण हुई थी, जिसका अर्थ है कि स्क्रीन पर कई रुचि वाले प्रोटो-ऑब्जेक्ट्स के साथ तालमेल बनाए रखने के लिए LSTM बहुत कठिन काम के तहत है, या उनमें से कुछ को पूरी तरह से याद कर रहा है, जबकि स्क्रीन पर कोई प्रक्षेप्य नहीं होने पर सक्रिय होने वाले दीवार प्रोटो-ऑब्जेक्ट्स को त्यागना भी सीख रहा है।

**तालिका 2:** परिणामों की तुलना। प्रति फ्रेम टोकन की संख्या नियमित पैच-आधारित मॉडल के लिए निश्चित है, लेकिन हमारे प्रोटो-ऑब्जेक्ट-आधारित मॉडल के लिए परिवर्तनीय है। हमारा तरीका वर्तमान में सीपीयू के लिए अनुकूलित है। टोकन की संख्या वाले अनुभाग में, n फ्रेमों की संख्या को संदर्भित करता है, जबकि स्कोर में यह रनों की संख्या के बराबर होता है।
	पैच [22]	प्रोटो-ऑब्जेक्ट्स (हमारा)
टोकन की संख्या और सर्वश्रेष्ठ समाधान का 95% सीआई (n=800)
Car Racing	529	12.6 ± 0.26
Doom Take Cover	529	10.7 ± 0.73
1000 पुनरावृत्तियों के बाद सर्वश्रेष्ठ स्कोर और 95% सीआई (n=400)
Car Racing	888.69 ± 5.84	910.39 ± 1.28
Doom Take Cover	959.27 ± 58.85	930.68 ± 57.19 (k = 1) 1192.82 ± 75.26 (k = 10)
प्रशिक्षण का समय
Car Racing	97h (GPU)	36.5h (CPU)
Doom Take Cover	85.5h (GPU)	33h (k = 1, CPU) 55h (k = 10, CPU)

तालिका 2 यह भी दर्शाती है कि इस वातावरण के लिए भी निकाले गए प्रोटो-ऑब्जेक्ट्स की संख्या कम थी, यह प्रदर्शित करते हुए कि हमारे पूर्व-प्रसंस्करण चरण निर्णय लेने के लिए आवश्यक जानकारी रखते हुए, विभिन्न डोमेन की दृश्य जटिलता को कम करने और एकसमान बनाने में प्रभावी हैं। प्रशिक्षण समय k = 1 के लिए 2.6 गुना तेज़ और k = 10 के लिए 1.6 गुना तेज़ था।

डूम वातावरण में प्रमुख प्रसंस्करण चरणों को चित्र 7 में चित्रित किया गया है: छवि का आकार बदलना, 1x1 कॉन्वोल्यूशन, रंग क्वांटाइजेशन, और अटेंशन (k = 1)। उल्लेखनीय रूप से, विकसित एजेंट एक आश्चर्यजनक रूप से न्यूनतम रणनीति अपनाता है, आने वाले आग के गोलों जैसे प्रतीत होने वाले महत्वपूर्ण तत्वों को अनदेखा करता है। इसके बजाय, यह लयबद्ध बाएं से दाएं आंदोलन पैटर्न को निष्पादित करते हुए केवल स्क्रीन पर सबसे दाहिने राक्षस पर केंद्रित होता है। यह रणनीति पैच-आधारित मॉडल के प्रदर्शन से मेल खाती है, भले ही बाद वाला आग के गोलों और दीवारों दोनों पर ध्यान देता हो। हमारे सरल दृष्टिकोण के साथ समानता से पता चलता है कि पैच-आधारित मॉडल का LSTM भी मुख्य रूप से आवधिक आंदोलन पर भरोसा कर सकता है और प्रक्षेप्य निर्देशांक को अनदेखा कर सकता है। यह रणनीति प्रभावी साबित होती है क्योंकि राक्षसों के प्रक्षेप्य एजेंट की वर्तमान स्थिति को लक्षित करते हैं - इसलिए निरंतर आंदोलन आने वाली आग के विशिष्ट स्थानों की परवाह किए बिना एक मजबूत बचाव तकनीक के रूप में कार्य करता है। हालांकि, k = 10 के साथ हमारा एजेंट आग के गोलों के प्रति अधिक प्रतिक्रियाशील लगता है।

6 निष्कर्ष और भावी कार्य (Conclusion and Future Works)

हमने विजुअल कार्यों में बॉटलनेक-अटेंशन-आधारित एजेंटों के लिए एक नया निरूपण प्रस्तुत किया है जो कच्चे पिक्सल या इमेज पैच के बजाय प्रोटो-ऑब्जेक्ट्स पर काम करता है। क्लासिकल कंप्यूटर विज़न विधियों के माध्यम से प्राप्त इन प्री-अटेंशनल प्राथमिक वस्तुओं के साथ काम करके, हमने ध्यान देने योग्य टोकन की संख्या और उनके आयाम को अत्यधिक कम करते हुए, साथ ही पिछली समाधानों की तुलना में प्रशिक्षण समय को नाटकीय रूप से कम करते हुए तुलनीय या बेहतर प्रदर्शन प्राप्त किया। इस हाइब्रिड दृष्टिकोण की सफलता ऐसे मॉडलों के प्रशिक्षण के लिए इवोल्यूशनरी तरीकों के प्रमुख लाभों में से एक को उजागर करती है: ग्रेडिएंट-आधारित अनुकूलन की आवश्यकताओं से बंधे बिना अवकलनीय और गैर-अवकलनीय घटकों को संयोजित करने की स्वतंत्रता। फिर भी, हमारे समाधान का एक पूरी तरह से अवकलनीय संस्करण विकसित करना भविष्य के काम के लिए एक आकर्षक दिशा बनी हुई है, क्योंकि यह नमूना दक्षता में काफी सुधार कर सकता है।

हमारे प्रयोगों से पता चला है कि बॉटलनेक अटेंशन मॉडल इवोल्यूशन के दौरान स्थानीय उच्च स्तरों (local maxima) के प्रति संवेदनशील होते हैं। दोहरी-मॉड्यूल वास्तुकला (अटेंशन और कंट्रोल) एक बार एक दृष्टिकोण स्थापित हो जाने के बाद नई अटेंशन रणनीतियों की खोज करना चुनौतीपूर्ण बनाती है, क्योंकि कंट्रोलर विशेष रूप से वर्तमान अटेंशन तंत्र के अनुकूल हो जाता है। अटेंशन मॉड्यूल में कोई भी महत्वपूर्ण बदलाव इस नाजुक संतुलन को बिगाड़ने का जोखिम उठाता है। हम अनुमान लगाते हैं कि CMA-ES इस आर्किटेक्चर के लिए बहुत अधिक "लालची" (greedy) हो सकता है, और डिफरेंशियल इवोल्यूशन [21] जैसे विकल्प समानांतर में कई ध्यान रणनीतियों को विकसित करने की अनुमति देकर अधिक उपयुक्त हो सकते हैं।

हमने प्रदर्शित किया कि ध्यान परत को बढ़ाकर, नियंत्रक को एकल प्रोटो-ऑब्जेक्ट के निर्देशांक भेजना प्रभावी नीतियां बनाने के लिए पर्याप्त है। यह काम करता है क्योंकि LSTM फ़्रेमों में एक आंतरिक स्थिति निरूपण को बनाए रख सकता है और अपडेट कर सकता है, यह तय कर सकता है कि किस जानकारी को संरक्षित या त्यागना है। यह दृष्टिकोण जैविक आंखों की गतिविधियों के साथ अच्छी तरह से मेल खाता है, जहां ध्यान आवश्यक रूप से व्यक्तिगत स्थानों या वस्तुओं के बीच स्थानांतरित होता है [4]। हालांकि, यह सरलीकृत सूचना प्रवाह स्क्रीन पर कई प्रासंगिक संस्थाएं होने पर लंबे समय तक सीखने के समय की कीमत पर आता है, क्योंकि अटेंशन मॉड्यूल को उन सभी पर ध्यान देना चाहिए और नियंत्रक को परिष्कृत स्मृति प्रबंधन रणनीतियों को विकसित करना चाहिए। एक संभावित समाधान स्मृति और नियंत्रण को अलग करना है, संभवतः नियंत्रक के लिए निश्चित आकार के एम्बेडिंग [18] उत्पन्न करने के लिए हाल ही में ध्यान दिए गए निर्देशांकों पर ध्यान तंत्र को लागू करके। इसे वेक्टर डेटाबेस से अनुकूली भंडारण और पुनर्प्राप्ति को शामिल करने के लिए और बढ़ाया जा सकता है।

इस कार्य से भविष्य के शोध के लिए कई आशाजनक दिशाएँ उभरती हैं। नियंत्रक से फीडबैक सिग्नल ध्यान को संशोधित कर सकते हैं, सक्रिय टॉप-डाउन रणनीतियों को सक्षम कर सकते हैं। इसके लिए नियंत्रक को आने वाले संकेतों की व्याख्या करने में मदद करने के लिए ध्यान मॉड्यूल से सूचना प्रवाह को समृद्ध करने की आवश्यकता होगी। मल्टी-हेड अटेंशन एक और स्वाभाविक विस्तार का प्रतिनिधित्व करता है। यह दृष्टिकोण अतिरिक्त कॉन्वोल्यूशनल परतों और प्रसंस्करण गहराई (जब उपलब्ध हो) और गति की जानकारी को शामिल करके पूर्ण वस्तु पहचान तक संभावित रूप से स्केल कर सकता है। सेल्फ-अटेंशन मैकेनिज्म उच्च-स्तरीय संस्थाओं में क्षेत्रों के स्वायत्त समूहन को सक्षम कर सकते हैं, जबकि क्रॉस-अटेंशन फ़्रेमों में ऑब्जेक्ट ट्रैकिंग को सुगम बना सकता है।

अंत में, एक महत्वपूर्ण अगला कदम वास्तविक दुनिया की छवियों पर हमारे दृष्टिकोण को मान्य करना है और यह निर्धारित करना है कि क्या कॉन्वोल्यूशन और क्वांटाइजेशन चरणों में जटिलता में वृद्धि आवश्यक है, या यदि पैच-आधारित दृष्टिकोण ऐसे परिदृश्यों में अधिक प्रभावी साबित होते हैं। इस क्षेत्र में सफलता अधिक कुशल रोबोट और स्व-ड्राइविंग कार प्रणालियों की ओर ले जा सकती है, जिससे प्रति प्रसंस्करण इकाई अधिक परिष्कृत बुद्धिमत्ता को सक्षम करते हुए कम्प्यूटेशनल आवश्यकताओं को कम किया जा सकता है।

संदर्भ (References)

William Agnew and Pedro Domingos. 2018. Unsupervised Object-Level Deep Reinforcement Learning. Deep Reinforcement Learning Workshop (NIPS 2018).
Ali Borji and Laurent Itti. 2012. State-of-the-art in visual attention modeling. IEEE transactions on pattern analysis and machine intelligence 35, 1 (2012), 185-207.
Greg Brockman, Vicki Cheung, Ludwig Pettersson, Jonas Schneider, John Schulman, Jie Tang, and Wojciech Zaremba. 2016. OpenAI Gym. arXiv:1606.01540 [cs.LG]
Marisa Carrasco. 2011. Visual attention: The past 25 years. Vision Research 51, 13 (2011), 1484-1525. doi:10.1016/j.visres.2011.04.012 Vision Research 50th Anniversary Issue: Part 2.
Zhe Chen. 2012. Object-based attention: A tutorial review. Attention, Perception, & Psychophysics 74 (2012), 784 - 802. doi:10.3758/s13414-012-0322-z
Leif H. Finkel and Paul Sajda. 1992. Proto-objects: an intermediate-level visual representation, In Optical Society of America Annual Meeting. Optical Society of America Annual Meeting -, -, FO1. doi:10.1364/OAM.1992.FO1
Christophe Fiorio and Jens Gustedt. 1996. Two linear time union-find strategies for image processing. Theoretical Computer Science 154, 2 (1996), 165-181.
Nikolaus Hansen. 2006. The CMA Evolution Strategy: A Comparing Review. Springer Berlin Heidelberg, Berlin, Heidelberg, 75-102. doi:10.1007/3-540-32494-1_4
Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. 2016. Deep Residual Learning for Image Recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, Los Alamitos, CA, USA, 770-778. doi:10.1109/CVPR.2016.90
Sepp Hochreiter and Jürgen Schmidhuber. 1997. Long short-term memory. Neural computation 9, 8 (1997), 1735-1780.
Kristin Koch, Judith McLean, Ronen Segev, Michael A. Freed, Michael J. Berry, Vijay Balasubramanian, and Peter Sterling. 2006. How Much the Eye Tells the Brain. Current Biology 16, 14 (2006), 1428-1434. doi:10.1016/j.cub.2006.05.056
Yitao Liang, Marlos C. Machado, Erik Talvitie, and Michael Bowling. 2016. State of the Art Control of Atari Games Using Shallow Reinforcement Learning. In Proceedings of the 2016 International Conference on Autonomous Agents & Multiagent Systems (Singapore, Singapore) (AAMAS '16). International Foundation for Autonomous Agents and Multiagent Systems, Richland, SC, 485-493.
H. B. Mann and D. R. Whitney. 1947. On a Test of Whether one of Two Random Variables is Stochastically Larger than the Other. The Annals of Mathematical Statistics 18, 1 (1947), 50-60. doi:10.1214/aoms/1177730491
Volodymyr Mnih, Nicolas Heess, Alex Graves, and Koray Kavukcuoglu. 2014. Recurrent models of visual attention. In Proceedings of the 28th International Conference on Neural Information Processing Systems - Volume 2 (Montreal, Canada) (NIPS'14). MIT Press, Cambridge, MA, USA, 2204-2212.
Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, and Martin Riedmiller. 2013. Playing Atari with Deep Reinforcement Learning. arXiv:1312.5602 [cs.LG]
Francesco Orabona, Giorgio Metta, and Giulio Sandini. 2007. A Proto-object Based Visual Attention Model. In Attention in Cognitive Systems. Theories and Systems from an Interdisciplinary Viewpoint, Lucas Paletta and Erich Rome (Eds.). Springer Berlin Heidelberg, Berlin, Heidelberg, 198-215.
Rafael C. Pinto and Anderson R. Tavares. 2024. PReLU: Yet Another Single-Layer Solution to the XOR Problem. arXiv:2409.10821 [cs.NE]
Nils Reimers and Iryna Gurevych. 2019. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. arXiv:1908.10084 [cs.CL]
Ronald A Rensink. 2000. The dynamic representation of scenes. Visual cognition 7, 1-3 (2000), 17-42.
William Silversmith. 2025. connected-components-3d: Connected Components on Discrete and Continuous Multilabel 3D & 2D Images. GitHub. https://github.com/seung-lab/connected-components-3d
Rainer Storn and Kenneth V. Price. 1997. Differential Evolution - A Simple and Efficient Heuristic for global Optimization over Continuous Spaces. Journal of Global Optimization 11 (1997), 341-359. https://api.semanticscholar.org/CorpusID:5297867
Yujin Tang, Duong Nguyen, and David Ha. 2020. Neuroevolution of self-interpretable agents. In Proceedings of the 2020 Genetic and Evolutionary Computation Conference (Cancún, Mexico) (GECCO '20). Association for Computing Machinery, New York, NY, USA, 414-424. doi:10.1145/3377930.3389847
Naftali Tishby, Fernando C. Pereira, and William Bialek. 2000. The information bottleneck method. arXiv:physics/0004057 [physics.data-an]
Mark Towers, Ariel Kwiatkowski, Jordan Terry, John U. Balis, Gianluca De Cola, Tristan Deleu, Manuel Goulão, Andreas Kallinteris, Markus Krimmel, Arjun KG, Rodrigo Perez-Vicente, Andrea Pierré, Sander Schulhoff, Jun Jet Tai, Hannah Tan, and Omar G. Younis. 2024. Gymnasium: A Standard Interface for Reinforcement Learning Environments. arXiv:2407.17032 [cs.LG]
Stefan Treue and Julio C. Martínez Trujillo. 1999. Feature-based attention influences motion processing gain in macaque visual cortex. Nature 399 (1999), 575-579. https://api.semanticscholar.org/CorpusID:4424973
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. 2017. Attention is all you need. In Proceedings of the 31st International Conference on Neural Information Processing Systems (Long Beach, California, USA) (NIPS'17). Curran Associates Inc., Red Hook, NY, USA, 6000-6010.
Shaun P. Vecera and Martha J. Farah. 1994. Does visual attention select objects or locations? Journal of experimental psychology. General 123 2 (1994), 146-60. doi:10.1037//0096-3445.123.2.146
Dirk Walther and Christof Koch. 2006. Modeling attention to salient proto-objects. Neural Networks 19, 9 (2006), 1395-1407. doi:10.1016/j.neunet.2006.10.001 Brain and Attention.
Jeremy M Wolfe. 1994. Guided search 2.0 a revised model of visual search. Psychonomic bulletin & review 1 (1994), 202-238.
William Woof and Ke Chen. 2018. Learning to Play General Video-Games via an Object Embedding Network. In 2018 IEEE Conference on Computational Intelligence and Games (CIG). IEEE, Maastricht, Netherlands, 1-8. doi:10.1109/CIG.2018.8490438