プロトオブジェクト上のセルフアテンションのニューロエボリューション

1 はじめに

視覚的注意機構（ビジュアルアテンション）は、高次元の知覚タスクにおける計算複雑性を軽減するための強力なソリューションとして浮上しています。視覚入力と制御ネットワークの間に情報のボトルネックを形成することで、これらの機構は複雑なシーンの効率的な処理を可能にします [14]。近年の研究では、ハードアテンションモジュールをLSTM [10] コントローラと共同で進化させることで、小さな画像パッチのみで動作するきわめて効率的なエージェントを構築できることが示されています [22]。この手法は、競合する手法よりも数桁小さいニューラルネットワークを実現しただけでなく、Car RacingやDoom Take Coverといった挑戦的な強化学習環境において最先端（SOTA）の結果を達成しました [3]。この成功は、アテンション層が無関係な入力領域をフィルタリングし、堅牢な汎化性能とノイズ耐性を提供しながらコントローラのタスクを単純化できることに起因しています。

本研究では、固定サイズで均一に配置されたパッチを、画像セグメンテーション [7] によって得られるプロトオブジェクト（局所的に均一な視覚的特徴のコヒーレントな領域 [6]）に置き換えることで、この研究領域を発展させます。この表現の転換には2つの大きな利点があります。第一に、ほとんどのシーンはパッチよりも少ないプロトオブジェクトに分解されるため、よりコンパクトな表現が提供されます。第二に、各プロトオブジェクトは形状、サイズ、色などのプロパティを捉えた小さな記述子ベクトルを通じて、より豊かなセマンティック情報を符号化します。

このプロトオブジェクトアプローチにより、大幅に合理化されたアーキテクチャが可能となります。セルフアテンションモジュールは、より高レベルの特徴を処理しながら大幅に小型化され、コントローラに対する選択性の向上とより良くフィルタリングされた情報をもたらし、コントローラ自体も簡素化できます。Car RacingおよびDoom Take Cover環境における実験結果 [3] は、この効率的なアーキテクチャがパラメータ数を62%削減し、学習速度を2.6倍向上させながら、パッチベースの実装と同等以上の性能を達成することを示しています。

2 背景

人間の視覚的注意のモデル化は、過去35年間にわたり活発な研究分野となってきました。神経科学や心理学への理論的貢献に加え、コンピュータビジョンやロボティクスにおいて成功を収めた多くの異なるアテンションモデルが提案されてきました [2]。初期の計算モデルは主にボトムアップ型の顕著性（サリエンス）に基づく注意に焦点を当てていましたが、より最近のアプローチではトップダウンの影響やオブジェクトベースの選択機構を取り入れています。

生物の視覚システムは、効率的な人工視覚システムを設計するための重要な洞察を提供します。根本的な制約は神経資源が有限であることです。Kochら [11] は、網膜神経節細胞が代謝コストと情報伝送のバランスをとり、比較的低い発火率を使用しているにもかかわらず非常に効率的な符号化を達成していることを示しました。これは、すべての入力を均等に処理しようとするのではなく、戦略的な情報ボトルネックを形成する進化圧力が存在することを示唆しています。WaltherとKoch [28] は、そのようなボトルネックの1つがプロトオブジェクトレベルで発生し、完全なオブジェクト認識が行われる前に、エンハンス処理のためにシーンのコヒーレントな領域が選択されることを示しました。これにより、視覚システムは高い符号化効率を維持しながら、複雑なシーンを扱いやすい単位にシリアライズできます。

2.1 視覚的注意機構の種類

生物システムにおける視覚的注意は、主に3つのメカニズムを介して機能します。空間に基づく注意（Space-based attention）は視野の特定の位置に作用し、選択された空間座標での処理を強化するスポットライトとして注意を扱います。特徴に基づく注意（Feature-based attention）は、空間的位置に関係なく、視野全体で特定の特徴（色、向き、運動など）の処理を選択的に強化します。オブジェクトに基づく注意（Object-based attention）は、コヒーレントなオブジェクトを形成する知覚的にグループ化された要素に作用し、単なる空間位置や個別特徴ではなく、オブジェクト全体の表現を選択することを示唆しています [5, 25, 27]。

2.2 セルフアテンション

現代の計算アテンションにおける主要なメカニズムは、セルフアテンション層です。標準的な形式 [26] では、セルフアテンションはそれぞれ d_in 次元の N 個の入力ベクトルのセットに対して作用し、学習された重み行列 W_O および W_K を介してそれらを線形変換し、クエリ（Q）行列およびキー（K）行列を取得します。

S = softmax( QK^T / √d_k )       (1)

ここで d_k はキーベクトルの次元数です。アテンションスコア S は入力要素がどの程度関連しているかを示します。S はさらに、入力の線形変換でもある行列 V と組み合わされ、全体のコンテキストを考慮した各入力の表現を含む文脈表現 A = SV を形成します。

2.3 プロトオブジェクトと情報ボトルネック

プロトオブジェクトは、生の視覚的特徴と完全に認識されたオブジェクトの中間に位置する中間表現です [19, 28]。これらは前注意処理（pre-attentive processing）段階で形成され、共通の視覚的プロパティを共有する視野のコヒーレントな領域を表します。 these structures は、完全なオブジェクト認識が発生する前のアテンションの候補として機能し [16]、視覚システムが処理リソースの優先順位を効率的に設定できるようにします。

視覚処理における情報ボトルネックは、タスクに関連する情報を保持しながら、高次元の視覚入力をより扱いやすい表現に圧縮する役割を果たします [11, 23]。これらのボトルネックは、初期の視覚的特徴からオブジェクト認識まで、処理のさまざまなレベルで発生する可能性があり、視覚処理に必要な計算リソースを管理する上で重要な役割を果たします [29]。プロトオブジェクトの形成自体が自然な情報ボトルネックを表しており、行動に関連する情報を維持しながら視覚シーンの複雑さを軽減します [28]。

3 関連研究

本アプローチは、視覚的注意、強化学習、およびディープラーニングにおける複数の研究領域に基づいて構築・拡張されています。ここでは、視覚処理の効率化と注意機構の課題に対処するアプローチに焦点を当て、本貢献の背景となる最も関連性の高い先行研究をレビューします。

3.1 自己解釈可能なエージェント

Tangらによる最近の研究 [22] では、強化学習におけるハードアテンション機構の利用が探求されました。彼らの手法は視覚入力を7x7のパッチに分割し、変更されたセルフアテンション機構を適用して処理のために上位k個のパッチのみを選択します（図2を参照）。これにより情報ボトルネックが作成され、モデルは他の入力を無視しながら最も関連性の高い入力に集中せざるを得なくなります。視覚ベースの強化学習タスクに適用した場合、この手法により、エージェントは従来の方式よりも大幅に少ないパラメータで、より優れた性能、解釈可能性、計算効率を達成できました。本手法は、パッチの代わりにプロトオブジェクトを使用し、トークンの数とその次元数を削減しつつ、それらに高レベルの情報を付加する点で主に異なります。

3.2 プロトオブジェクトに基づくアプローチ

Orabonaら [16] は、視覚的注意の基本単位としてのプロトオブジェクトの有効性を実証しました。彼らの研究は、中間表現としてプロトオブジェクトを使用することで、シーン内の潜在的なオブジェクトに自然に対応し、意味のある視覚的特徴を維持しながら効率的な処理が可能になることを示しました。

ブロブ（色領域）からのより高レベルな情報を入力として利用するアイデアは、Blob-PROSTに関するLiangら [12] の研究でさらに探求されました。彼らのアプローチは、カラーブロブに基づく視覚的特徴が、大幅に少ないパラメータでありながらDQN [15] と競争力のある性能を達成できることを示しました。核心となる洞察は、ゲーム画面を「ブロブ」（多くの場合ゲームオブジェクトに対応する同じ色の画素の連続領域）の観点から表現することでした。これは、同一色の画素に限定されない私たちのプロトオブジェクト利用の特殊なケースと言えます。この表現は、ブロブ間の位置および相対オフセット特徴と組み合わされ、空間的および時間的関係の両方を捉えました。しかし、彼らの表現は1億を超えるバイナリ特徴で構成されていたのに対し、私たちの手法は個別に対応可能な単一プロトオブジェクトのコンパクトな表現に基づいています。

3.3 オブジェクトに基づく強化学習

プロトオブジェクトに基づくアプローチが中間表現に焦点を当てているのに対し、一部の研究者は本格的なオブジェクトを扱う方向に進んでいます。WoofとChen [30] は、エンドツーエンドのビデオゲームプレイではなく、高レベルオブジェクト（ゲーム画面上の識別可能なエンティティなど）の表現を実験しました。しかし、彼らはオブジェクトが事前に入力されていると仮定しており、ゲームエンジンや特定のオブジェクト検出器へのアクセスを必要とします。

より堅牢なアプローチ [1] では、オブジェクトレベルの表現を直接操作することで、強化学習タスクにおけるサンプル効率が劇的に向上することが示されました。彼らの手法は、まず画像をプリミティブなセグメントに過剰分割（oversegmentation）し、そのダイナミクスをモデル化してから、同様のダイナミクスを持つセグメントを結合することにより、教師なしで画素から簡潔なオブジェクト表現を学習します。彼らの手法は、重要なイベントはオブジェクトが相互作用するときに発生する傾向があるという洞察を活用し、これを利用してオブジェクトの接触を含む状態へと探索を誘導します。彼らのアプローチは印象的な結果を達成していますが（従来のDeep RL手法よりも最大10,000倍速く学習し、場合によっては人間の学習速度を上回る）、オブジェクト検出と追跡のために重大な計算オーバーヘッドを必要とします。これが、処理効率と表現力のバランスを提供するプロトオブジェクトアプローチの探求を後押ししています。

4 プロトオブジェクトに基づくアテンショナルエージェント

本研究は、コンピュータビジョン、ディープラーニング、進化計算における複数の研究方向性を発展させ、それらを結びつけるものです。視覚的注意の生物学的モデル、効率的なニューラルアーキテクチャ、および古典的なコンピュータビジョン技術からの洞察を組み合わせ、各手法の強みを活かしたハイブリッドシステムを構築します。生の画素や任意のパッチではなく、プロトオブジェクトに対してハードアテンションメカニズムを適用します。この手法は、Kochら [11] が生物システムで観察したような情報ボトルネックを実装しつつ、[16, 19] で説明されている意味のあるプロトオブジェクト上で動作します。処理のために最も関連性の高いプロトオブジェクトのみを選択することで、従来のアプローチよりもセマンティックに意味のあるレベルで情報ボトルネックを作成します。

上位k個のプロトオブジェクトの離散的な選択とコントローラへの座標の転送は、勾配ベースの手法にとっては困難ですが進化型アプローチには自然な非微分操作を作成するため、この組み合わせはニューロエボリューション（神経進化）に非常に適しています。さらに、モデルに視覚入力のどの部分を処理するかを明示的に選択させることで、直接的な解釈可能性が得られます。モデルが決定において重要とみなすプロトオブジェクトを正確に可視化でき、従来のディープラーニングアプローチでは欠けがちな意思決定プロセスへの洞察が提供されます。

4.1 実装

本手法は主に5つのステージ（畳み込み、量子化、セグメンテーション、アテンション、制御）で構成されており、以下に説明します。

4.1.1 畳み込み

畳み込みステージは、元の画像チャンネルをシフト、スケーリング、フィルタリング、および/または混合し、次のステージのための前処理された表現を提供することを目的とします。特に私たちの実験では、3つの1x1フィルタを持つ単一の畳み込み層を使用します。3つのフィルタの選択は、残差接続（residual connection）との互換性のために必要です。同じ画像サイズを維持する限り、より多くの畳み込み層を追加することも可能です。この場合、3つのフィルタを持つ最終層を追加するだけで、次元数を画像内のチャンネル数と同じ数まで減らすことができます。その後、元の画像を畳み込み出力に加算して残差接続 [9] を形成します。その機能は次のステージで明確になります。

4.1.2 量子化

量子化は、次のステージで処理される情報量を減らすことを目的とします。私たちの実験では、チャンネルあたり1ビットを使用して畳み込み出力の単純な一様量子化を行います（より複雑なタスクでは増やしてもよく、進化させることも可能です）。結果として、最大8つの異なる色を持つ画像が得られ、それぞれが異なる種類のセグメントを表します。単純な固定量子化であることに加え、直前の畳み込み層との組み合わせにより、適応的なセグメンテーションおよび量子化機構が実現されることに注意してください。

このステージは畳み込みとシナジーがあります。元の画像チャンネルのシフト、スケーリング、混合により、それらを異なる量子化ビンに配置できます。しかし、適切なセグメンテーションを見つけるために必要な進化適応度曲面には不連続なジャンプが存在し、進化アルゴリズムがそれを解明するのに時間がかかる可能性があるため、前のステージの残差接続を使用して、元の画像の色に対する自明なセグメンテーションから進化をキックスタートさせます。したがって、畳み込みの目的は、必要に応じてセグメンテーションを自明なものから変化させることです。

4.1.3 セグメンテーション

セグメンテーションは、プロトオブジェクト、つまり前のステージから受け取ったセマンティックに類似した画素領域の記述子を作成することを目的とします。本研究では、色連結領域による画像ラベル付けを適用します [7, 20]。抽出された各領域から一連の属性を取得でき、d_in 個の特徴が得られます（幅または高さが1画素の領域はノイズとして処理され無視されます）。

徹底的な実験の結果、d_in = 11 個の特徴のセットを最終的に選択しました。すなわち、量子化セグメントの色（R, G, B）、重心（X, Y）、画素単位の総面積、バウンディングボックスの幅、バウンディングボックスの高さ、バウンディングボックスの面積、アスペクト比、およびエクステント（バウンディングボックス面積に対する領域面積の比率）です。これらはすべて得られた領域から簡単かつ効率的に計算でき、次のステージがより情報に基づいた決定を下すのに役立ちます。向き（画素座標間の相関）も有用である可能性がありますが、モデルに実行時のオーバーヘッドが加わりすぎるため除外されました。すべての値は-1から1の間に正規化され、アスペクト比も対数変換されて1と-1が極端な比率に対応し、0が等辺を意味するようになります。

NormAspectRatio = 2 * log(aspectRatio) / log(max(imageWidth, imageHeight)) - 1

4.1.4 アテンション

アテンションモジュールは、セグメンテーションステージで特定されたプロトオブジェクト間の関係をモデル化することを目的としています。N個のプロトオブジェクトの特徴は、アテンションの用語で言うN個の d_in 次元トークンのセットとしてモデルのアテンション層に入力されます [26]。アテンション層はこれらのトークンを2つの d_q 次元ベクトル Q および K に埋め込みます。ただし、私たちの実装には追加の工夫があります。線形変換の前後にパラメトリック整流線形ユニット（PReLU）層を追加しています。PReLUはReLU活性化の一般化であり、負の部分の傾きが各層またはニューロン（私たちの場合は後者）に対して適応的です（PReLU(x) = max(ax, x)）。わずか15個の追加パラメータで、単一のPReLUニューロンがXOR問題を解決できることが示されているため [17]、アテンション層がより複雑な関係をモデル化できるようになります。私たちのケースでは、a が負のときに中間値（グレーの色など）の選択を可能にし（関数を非単調にします）、これは純粋な線形層では不可能です。代わりに従来のセルフアテンションの層を増やすこともできますが、パラメータ数と実行時間を低く抑えるため、本研究ではよりシンプルなPReLUソリューションを選択しました。

通常のセルフアテンション手順を進めると、式1によってアテンション行列が計算され、行ごとの総和によって重要度ベクトルが得られます。従来のセルフアテンションで行われるV行列によるトークンの通常の混合を行う代わりに、得られた行ごとの総和に対して単に上位k個のプロトオブジェクト選択を実行します。

アテンション計算はトークン数 N に対して二次漸近時間複雑度を持つことに留意してください。パッチの代わりにプロトオブジェクトを使用することでトークン数を劇的に削減することで、アテンションモジュールの処理が大幅に高速化されます。

実験では極端に詰め、k = 1 に設定しました（単一のプロトオブジェクトの座標がコントローラに渡されます）。当社のアテンションモジュールはオリジナルよりも表現力が高く、プロトオブジェクトにはより高レベルの情報が含まれているため、コントローラが決定を下すには単一の適切に選択されたプロトオブジェクトで十分です（選択が優れているほどコントローラの負担が減ります）。また、一度に1つの視覚項目に焦点を当てるため、生物学的にもより妥当です [4]。

4.1.5 制御

最後に、制御ステージは環境内で実行するアクションを選択します。実装では、選択されたプロトオブジェクトからの各特徴ベクトルに伝達関数 f(n) が適用され、結果が連結されてLSTM [10] コントローラへの入力として供給されます。このコントローラは時間的関連付けを学習し、制御出力を生成する役割を果たします。

私たちのケースでは、f(n) はプロトオブジェクトの重心座標のみを返します。選択された各プロトオブジェクトのより多くのプロパティをコントローラに供給するためにより精巧な伝達関数を使用することもできますが、私たちの問題には重心で十分でした。これは、アテンションモジュールと制御モジュールの共同進化によって暗黙の「合意」が生まれるためです。常に同じ種類のプロトオブジェクト（芝生、コースなど）を選択することにより、コントローラがそれがどれかを推測する必要がなくなります。アテンションが毎回異なる種類のプロトオブジェクトに焦点を当てていた場合、それらが画面の特定領域に一貫して表示され位置によって区別可能（画面下部に常にあるヘッドアップディスプレイなど）でない限り、座標だけでそれらを区別することは不可能です。また、アテンションモジュールが一貫して同じ種類のプロトオブジェクトを同じランキング順位（例えば芝生が1位、コースが2位など）に配置する場合にもコントローラによって区別できますが、これは学習すべき追加の複雑さとなります。

4.2 概要

ハイパーパラメータの選択と画像パッチに基づく先行研究 [22] との違いの要約を表1に示します。また、各モデルで得られた学習可能パラメータの数も示されており、コンパクトなアテンション層と k = 1 のより小さなボトルネックにより、モデル全体が大幅に（62%）小さくなっていることがわかります。プロセス全体は図3で確認できます。このモデルは非微分可能ですが、CMA-ES [8] などの微分フリーな最適化手法を介して学習可能です。

5 実験と結果

提案手法を [22] のパッチベースの手法と比較するため、[22] と同じ環境（CarRacing および Doom-TakeCover）[3] でテストを行います。両方について、128の解の個体群を持つCMA-ESを1000世代実行し、毎世代8つのシードでモデルを評価します。シードは世代番号と反復番号に基づいています。100世代ごとに400個の新しいシードでモデルをテストし、平均と分散を抽出して95%信頼区間を生成します。統計的有意性は両側マン・ホイットニーのU検定 [13] から取得されます。[22] における元の実験は、それぞれ16個のシードと256個の解の個体群で2000世代実行されたため、直接比較はできないことに注意してください。ハードウェアの制限により、これらの各ハイパーパラメータを半分にし、公平な比較のためにこの新しいセットアップで元の実験を再度実施しました。

実験は次のハードウェアセットアップで実行されました：AMD Ryzen 5950X CPU、128GB DDR4 3200 RAM、Nvidia RTX 3090 GPU。トレーニングは32スレッドに並列化され、各評価は単一スレッドに制限されました。パッチベースのソリューションはGPUを活用しましたが、マルチラベル連結成分の解析とラベル付けがGPUに適していなかったため、本手法はCPU用に最適化されました。

5.1 Car Racing

これは、ランダムに生成されたコースを備えた俯瞰型のレーシング環境です（図1および2を参照）。視覚的に十分にシンプルであるため、提案手法の畳み込みおよび量子化ステージをスキップすることも可能ですが、手法の汎用性を検証するためにとにかく実行します。報酬はフレームごとに-0.1、コースから大きく外れた場合は-100（終了の原因にもなります）、訪問したトラックタイルごとに+1000/Nです（Nはトラック内で訪問したタイルの総数。タイルはわずかに異なる灰色の影として表示されます）。900ポイント以上で解決とみなされます。これにより、コントローラが迅速かつ正確であることが奨励されます。3つの連続アクションがあります：ステアリング（-1が左全開、+1が右全開）、アクセル、ブレーキ。この環境のバージョンV2が利用可能ですが¹、Pygame ² を使用しているため低速です。OpenGLを使用することで2倍高速なV0を使用し、さらに2倍の高速化をもたらす独自の最適化を実装しています。新しいAPI [24] との互換性、および優れたハードウェア/ソフトウェア互換性を除けば、両バージョン間に有意な違いはありません。

提案手法はサンプル効率が高く、トレーニング全体を通じて平均スコアが優れており、トレーニング後に910.39という有意に優れた（p = 1.1e-22）スコアを達成しました（図4）。さらに表2が示すように、フレームあたりのトークン数はパッチベースのソリューションのわずか2%で、調整可能パラメータは62%少ない状態で行われました。そしてCPU上で動作しているにもかかわらず、GPU上で動作したパッチベースの手法と比較して2.7倍高速に学習しました。

¹https://gymnasium.farama.org/environments/box2d/car_racing/
²https://www.pygame.org

図5に示すように、この実験の興味深い側面はセグメンテーションとアテンションの進化を観察することです。解はタスクの元の色に対する自明な量子化から始まりますが、コースが暗いため、画面下部の黒いヘッドアップディスプレイ（HUD）と結合してしまいます。それにもかかわらず、通常は車が曲がるべき方向を指し示しているため、小さな芝生領域に集中する方法をすでに知っています。300世代でコースをHUDから分離することを学び、800世代で車と赤色のコーナーマーカーをコースから分離します。車は役に立ちませんが（常に同じ場所にあり、他の実験ではコースと結合されていました）、赤色のマーカーは隣接する芝生領域に対して（クエリとして）「投票」することで、正しい旋回方向を強化できます。900世代でコースタイルをセグメント化することを学びますが、最終解ではそれを破棄します。処理ステップに分解された最終解は図6で確認できます。

5.2 Doom Take Cover

このタスクはゲームDoomに基づいており、前のタスクよりも視覚的に複雑でかなり多くの色を含んでいます（図8の左上を参照）。そのため、膨大な数のセグメント防ぐために畳み込みと量子化のステップが厳密に必要となります。長方形の部屋で実施されます。エージェントは壁に沿ってスポーンし、モンスターは反対側の壁に沿って絶えずランダムにスポーンします。モンスターはエージェントに向かって火の玉を撃ち続け、エージェントは生き残るためにそれらを避けなければなりません。エージェントは生存しているチック（tic）ごとに1報酬ポイントを獲得し、左に移動、右に移動、または静止の3つの離散アクションを持ちます。

学習曲線を図7に示します。提案アプローチはサンプル効率がやや低く、パッチベースモデルのパフォーマンスに到達するまでに（p = 0.414）より多くの世代を必要としました。また、d_q = 4、k = 10（パッチベースのセットアップと同じ）および 3x3 畳み込み（2671パラメータ）でも実験を行ったところ、このソリューションはサンプル効率が向上し、55時間のトレーニングで1193スコアという有意に高い（p = 2.8e-5）パフォーマンスを達成しました。パフォーマンスの低下は k = 1 に起因すると推測されます。つまり、LSTMが画面上の複数の関心プロトオブジェクトに対応するのにより困難な作業を強いられ、一部を完全に逃したり、弾道が存在しないときにアクティブになる壁のプロトオブジェクトを破棄することを学習したりする必要があるためです。

表2は、この環境でも抽出されたプロトオブジェクトの数が少なかったことを示しており、意思決定に必要な情報を保持しながら、さまざまなドメインの視覚的複雑さを軽減および均一化する上で前処理ステップが有効であることを示しています。学習時間は k = 1 で 2.6 倍高速、k = 10 で 1.6 倍高速でした。

Doom環境における主要な処理ステージを図7に示します：画像のリサイズ、1x1畳み込み、カラー量子化、およびアテンション（k = 1）。驚くべきことに、進化させたエージェントは飛んでくる火の玉のような一見重要な要素を無視するという、驚くほどミニマリストな戦略を採用します。代わりに、リズム感のある左右の移動パターンを実行しながら、画面の一番右にいるモンスターだけに焦点を当てます。この戦略は、火の玉と壁の両方にアテンションを向けるパッチベースモデルの性能と同等です。単純なアプローチとの同等性は、パッチベースモデルのLSTMも主に周期的な移動に依存しており、飛翔体の座標を無視している可能性を示唆しています。モンスターの飛翔体はエージェントの現在位置を標的にするため、連続的な移動は飛来する火の具体的な位置に関係なく堅牢な回避技術として機能するため、この戦略は有効です。ただし、k = 10 のエージェントは火の玉に対してより反応的であるように見えます。

6 結論と今後の課題

視覚タスクにおいて、生の画素や画像パッチではなくプロトオブジェクト上で動作する、ボトルネックアテンションベースのエージェント向けの新しい表現を提示しました。古典的なコンピュータビジョン手法によって得られたこれらの前注意的なプリミティブオブジェクトを扱うことで、先行研究と比較してアテンションを向けるトークン数とその次元数、および学習時間を劇的に削減しながら、同等以上の性能を達成しました。このハイブリッドアプローチの成功は、このようなモデルを訓練するための進化手法の主な利点の1つを浮き彫りにしています。それは、勾配ベースの最適化の要件に制約されることなく、微分可能コンポーネントと非微分可能コンポーネントを組み合わせる自由度です。それにもかかわらず、提案手法の完全微分可能なバージョンを開発することは、サンプル効率を大幅に向上させる可能性があるため、今後の課題として魅力的な方向性であり続けます。

実験により、ボトルネックアテンションモデルは進化中に局所解（ローカルマキシマ）に陥りやすいことが明らかになりました。アプローチが一度確立されると、コントローラが現在の注意機構に特化適応するため、デュアルモジュールアーキテクチャ（アテンションと制御）において新しいアテンション戦略を発見することが困難になります。アテンションモジュールに重大な変更を加えると、この繊細なバランスが崩れるリスクがあります。CMA-ESはこのアーキテクチャに対して貪欲（greedy）すぎる可能性があり、差分進化 [21] などの代替手法が、複数のアテンション戦略を並列進化させることでより適しているのではないかと推測しています。

アテンション層を強化することにより、単一のプロトオブジェクトの座標をコントローラに送信するだけで有効なポリシーを生成するのに十分であることを示しました。これは、LSTMがフレーム間で内部状態表現を維持および更新し、保存または破棄する情報を決定できるため機能します。このアプローチは、個々の場所やオブジェクト間で焦点が必然的に移動する生物学的な眼球運動とよく一致しています [4]。しかし、この単純化された情報フローは、画面上に複数の関連エンティティがある場合に学習時間が長くなるという代償を伴います。アテンションモジュールがそれらすべてに対応する必要があり、コントローラが高度なメモリ管理戦略を開発する必要があるためです。可能性のある解決策の1つは、メモリと制御を切り離すことであり、おそらく最近アテンションを向けた座標に対してアテンション機構を実装し、コントローラ用の固定サイズ埋め込み [18] を生成することです。これはさらに拡張して、ベクターデータベースからの適応的なストレージと取得を含めることもできます。

本研究から、今後の研究に向けたいくつかの有望な方向性が浮かび上がります。コントローラからのフィードバック信号がアテンションを調整し、アクティブなトップダウン戦略を可能にする可能性があります。これには、コントローラが着信信号を解釈するのを助けるために、アテンションモジュールからの情報フローを充実させることが必要になります。マルチヘッドアテンションはもう1つの自然な拡張を表します。追加の畳み込み層と処理の深さ（利用可能な場合）およびモーション情報を組み込むことで、このアプローチは完全なオブジェクト認識にスケールアップする可能性があります。セルフアテンション機構により、領域をより高レベルのエンティティに自律的にグループ化できる一方、クロスアテンションにより、フレーム間でのオブジェクト追跡が容易になる可能性があります。

最後に、極めて重要な次のステップは、現実世界の画像で提案手法を検証し、畳み込みおよび量子化ステージでの複雑さの増加が必要か、あるいはそのようなシナリオではパッチベースのアプローチの方が効果的であるかを判断することです。この領域での成功は、より効率的なロボットおよび自動運転車システムにつながり、処理ユニットあたりの高度な知能を可能にしながら計算要件を軽減できます。