8

アルゴリズム構造の進化:AutoPSO と EvoGO

AI999第5课:方法演化:从优化解到优化算法本身
00:00

MetaDE のような手法では、進化はパラメータ層で起こります。内層アルゴリズムが実際のタスクを解き、外層アルゴリズムが内層アルゴリズムの設定と戦略を調整します。一方、 AutoPSO と EvoGO は、進化の対象をもう一段上へ引き上げます——すなわちアルゴリズム構造そのものを直接進化させます。コンポーネントをどう組み合わせるか、候補をどう生成するか、更新規則をどう組織するか、という点です。

アルゴリズム構造の進化:AutoPSO と EvoGO外層はアルゴリズム構造を進化(パラメータ調整ではなく構造を変更) · 内層は実際のタスクで評価しフィードバック外層コンポーネントプール(組み合わせ可能な演算子)粒子の速度項 / 位置更新近傍トポロジ構造摂動項再起動戦略固定された公式を選択可能なコンポーネントに分解構造のアセンブリ履歴フィードバックに基づく構造選択コンポーネントの組み合わせ方候補の生成方法更新規則の組織方法AutoPSO と EvoGO に共通する骨格構造層:コンポーネントと接続方式が可変候補生成器外層構造によりインスタンス化内層の評価結果適応度 / 収束軌跡構造—性能の対応記録外層の選択に統計的根拠を提供サンプル密度が信頼できる選択の前提組み合わせインスタンス化構造は内層で実行履歴フィードバック構造更新のハンドル内層:タスク評価 + GPU 並列バッチ実行多数の内層タスクを同時評価し、構造—性能の対応サンプルを十分に密にする並列バッチ評価学習因子の調整は行動の強度を変えるだけ。コンポーネントの組み合わせを変えてこそ行動の形態が変わる。

判断基準:外層は結局何を探索しているのか

「パラメータ調整」と「構造変更」を区別するには、手法の名前を見るのではなく、外層の探索空間の階層を見る必要があります。MetaDE のような手法の外層探索空間は、内層アルゴリズムの設定と戦略(学習因子、突然変異確率、選択圧などの値)です。一方、AutoPSO / EvoGO の外層探索空間はアルゴリズム構造——どのコンポーネントが組み合わせに関与するか、候補生成の流れがどのような形か、状態をどう更新するか——です。

  • パラメータ層:構造は固定で、数値のみを調整。到達可能な範囲は行動の「強度」。
  • 構造層:コンポーネントと接続方式が可変。到達可能な範囲は行動の「形態」。

AutoPSO:古典的 PSO をコンポーネントプールに分解

古典的 PSO の速度—位置更新公式はハードコードされています。AutoPSO はこのプロセスを組み合わせ可能なコンポーネント——速度項、近傍トポロジ、摂動項、再起動戦略など——に分解し、外層の進化がそれらを選んで新しい候補生成器として組み立てます。もはや固定された古典的更新構造を踏襲するのではなく、「更新構造」そのものを探索可能な変数とします。学習因子の調整は行動の強度を変えるだけであり、コンポーネントの組み合わせを変えてこそ行動の形態が変わります。

EvoGO:履歴フィードバックに構造の変更方向を決めさせる

EvoGO は、履歴フィードバックを構造進化の経路に組み込むことに重点を置きます。過去の探索軌跡と性能記録は、もはや「解の選択」だけに用いられるのではなく、「構造が次のステップでどこを変更するか」を決めるために用いられます。これによりフィードバックは、結果のフィルターから構造更新のハンドルへと変わります——それは、完了した候補の中から良い結果を一つ選ぶだけでなく、次ラウンドの構造候補の方向を変えるのです。

共有される二層の骨格とエンジニアリング上の意味

両者は同一の骨格を共有します。内層アルゴリズムが実際のタスク上で実行され、外層が内層の性能に基づいて構造を進化させます。鍵となる前提はサンプル密度です——GPU で大量の内層タスクを並列バッチ実行することで、「構造—性能」の対応サンプルが十分に密になり、外層の選択が統計的な意味を持ち、単一実行のノイズに左右されなくなります。

エンジニアリング上の意味
アルゴリズムは「一度きりの事前選択」から「継続的に改善されうる対象」へと変わります。代償として、構造層の進化は本質的に大きな探索空間と高い評価コストをもたらすため、その実現可能性はテンソル化された並列基盤に依存します——これが次節の GPU 並列というテーマの直接の動機でもあります。