8

Эволюция структуры алгоритма: AutoPSO и EvoGO

AI999第5课:方法演化:从优化解到优化算法本身
00:00

В таких методах, как MetaDE, эволюция происходит науровне параметров: внутренний алгоритм решает реальную задачу, а внешний алгоритм настраивает конфигурацию и стратегию внутреннего. А AutoPSO и EvoGO поднимают эволюционируемый объект ещё на один уровень выше — напрямую эволюционируютсаму структуру алгоритма: как комбинируются компоненты, как генерируются кандидаты, как организуются правила обновления.

Эволюция структуры алгоритма: AutoPSO и EvoGOВнешний слой эволюционирует структуру алгоритма (меняет структуру, а не только параметры) · Внутренний слой оценивает на реальных задачах и даёт обратную связьВнешний слойПул компонентов (комбинируемые операторы)Компонент скорости частицы / Обновление позицииТопология соседстваКомпонент возмущенияСтратегия перезапускаФиксированная формула разложена на выбираемые компонентыСборка структурыВыбор структуры на основе исторической обратной связиКак комбинируются компонентыКак генерируются кандидатыКак организуются правила обновленияОбщий каркас AutoPSO и EvoGOСтруктурный уровень: компоненты и связи изменяемыГенератор кандидатовИнстанцируется внешней структуройРезультаты оценки внутреннего слояПриспособленность / Траектория сходимостиЗаписи пар «структура — результат»Обеспечивает статистическую основу для выбора внешнего слояПлотность выборки — условие надёжного выборакомпозицияинстанцированиеСтруктура выполняется во внутреннем слоеИсторическая обратная связьШтурвал обновления структурыВнутренний слой: оценка задач + параллельный пакетный запуск на GPUМножество внутренних задач оценивается одновременно, что делает выборку сопоставлений «структура — результат» достаточно плотнойПараллельная пакетная оценкаНастройка коэффициентов обучения меняет лишь интенсивность поведения; только изменение комбинации компонентов меняет форму поведения.

Критерий: что именно ищет внешний слой

Чтобы отличить «настройку параметров» от «изменения структуры», нельзя смотреть только на название метода — нужно смотреть науровень пространства поиска внешнего слоя. У методов типа MetaDE внешнее пространство поиска — это конфигурация и стратегия внутреннего алгоритма (значения коэффициентов обучения, вероятности мутации, давления отбора и т. д.); у AutoPSO / EvoGO внешнее пространство поиска — это структура алгоритма: какие компоненты участвуют в комбинации, как выглядит процесс генерации кандидатов, как обновляется состояние.

  • уровне параметров: структура фиксирована, настраиваются только числовые значения. Достижимый диапазон — «интенсивность» поведения.
  • Структурный уровень: компоненты и способ их соединения изменяемы. Достижимый диапазон — «форма» поведения.

AutoPSO: классический PSO разложен на пул компонентов

Формула обновления скорости и позиции в классическом PSO жёстко задана. AutoPSO разбивает этот процесс на комбинируемые компоненты: компонент скорости, топологию соседства, компонент возмущения, стратегию перезапуска и т. д., а затем внешняя эволюция выбирает и собирает их в новый генератор кандидатов. Он больше не следует фиксированной классической структуре обновления, а делает саму «структуру обновления» переменной, доступной для поиска. Настройка коэффициентов обучения меняет лишь интенсивность поведения — форму поведения меняет только комбинация компонентов.

EvoGO: историческая обратная связь определяет, куда менять структуру

EvoGO делает акцент на подключении исторической обратной связи к пути эволюции структуры: прошлые траектории поиска и записи результатов используются уже не только для «выбора решения», а для определения того, «куда менять структуру на следующем шаге». Так обратная связь превращается из фильтра результатов в штурвал обновления структуры — она меняет направление кандидатов структуры следующего раунда, а не просто выбирает лучший результат из уже готовой партии кандидатов.

Общий двухуровневый каркас и его инженерный смысл

Оба используют один и тот же каркас: внутренний алгоритм работает на реальных задачах, а внешний слой эволюционирует структуру на основе результатов внутреннего. Ключевое условие — плотность выборки: параллельный пакетный запуск множества внутренних задач на GPU делает выборку сопоставлений «структура — результат» достаточно плотной, чтобы выбор внешнего слоя имел статистический смысл и не зависел от шума единичного запуска.

Инженерный смысл
Алгоритм превращается из «разового априорного выбора» в «объект, который можно непрерывно улучшать». Цена этого: эволюция на структурном уровне естественно несёт большее пространство поиска и более высокую стоимость оценки, поэтому её осуществимость зависит от тензоризованной параллельной основы — это и есть непосредственная причина темы параллельных вычислений на GPU в следующем разделе.