6

MetaDE и AutoPSO: двухуровневая архитектура эволюции методов

AI999第6课:系统级持续演化:Genesis 与软件世界的沉淀
00:00

Эволюция методов(мета-эволюция) возводит сам «способ порождения кандидатов» в ранг объекта оптимизации: алгоритм уже не просто ищет решение — он совершенствует то, как он ищет решение.MetaDE и AutoPSO — две наиболее показательные реализации этой идеи, и обе опираются на один и тот же каркас —двухуровневую архитектуру «внутренний—внешний»: внешний уровень ищет впространстве алгоритмов, а внутренний решает с помощью алгоритмов-кандидатовцелевую задачу. Результаты внутреннего уровня возвращаются на внешний в виде сигнала приспособленности, что побуждает алгоритм непрерывно совершенствоваться и замыкает цикл обратной связи.

MetaDE и AutoPSO: двухуровневая архитектура эволюции методовВнешний уровень ищет в пространстве алгоритмов, внутренний решает целевую задачу, а его результаты возвращаются как приспособленностьДва пути реализацииВнешний уровень: поиск в пространстве алгоритмовкомбинации конфигураций / компонентов / стратегийВнутренний уровень: решение и оценка целевой задачирешение одной и той же задачи с помощью конфигураций алгоритмов-кандидатовЗапуск внутреннего уровня ①Запуск внутреннего уровня ②Запуск внутреннего уровня ③многократные повторные оценки → усреднённая статистика результатовРезультаты агрегируются в сигнал приспособленности↑ возврат на внешний уровеньпередача алгоритма-кандидатаобратная связь по результатамMetaDEЭволюция уровня конфигурации• Внешний уровень эволюционирует конфигурацию дифференциальной эволюции• стратегия мутации / вероятность скрещивания / масштабирующий фактор• адаптивная настройка под задачу и этап оптимизацииВнутренний уровень по-прежнему решает целевую задачу дифференциальной эволюциейAutoPSOЭволюция уровня структуры / компонентов• Параметры и механизмы обучения рассматриваются как компонуемые компоненты• Внешний уровень автоматически собирает подходящие варианты PSO• Превращает «выбор алгоритма» в «поиск структуры алгоритма»От адаптации параметров → к самогенерации механизмовЦена: одна оценка внешнего уровня ≈ несколько запусков внутреннего, бюджет многократно растётКомпромиссы: распределение бюджета · приближённая оценка · ранняя остановка · распараллеливание

Общая абстракция двухуровневой архитектуры

  • Внешний уровень (поиск в пространстве алгоритмов): поиск «определения алгоритма» — гиперпараметров, стратегий и комбинаций компонентов. Его пространство поиска — это не пространство решений, а пространство конфигураций и структур алгоритмов.
  • Внутренний уровень (решение целевой задачи): реальное решение задачи с помощью алгоритма-кандидата, переданного внешним уровнем, с получением измеримых результатов, которые служат основой для оценки этого кандидата.
  • Контур обратной связи: результаты внутреннего уровня агрегируются в приспособленность и возвращаются на внешний уровень, который на их основе отбраковывает слабые конфигурации, сохраняет и мутирует лучшие. Как только цикл замыкается, решение задачи и совершенствование способа решения происходят одновременно.

MetaDE: конфигурация DE передаётся на эволюцию внешнему уровню

MetaDE сохраняет дифференциальную эволюцию в роли внутреннего решателя, а её собственную конфигурацию передаёт на поиск внешнему уровню: выбор стратегии мутации, вероятность скрещивания, масштабирующий фактор и другие параметры перестают быть фиксированными константами и становятся объектами эволюции, адаптивно настраиваемыми под задачу и этап оптимизации. Он отвечает на вопрос «как настроить эту конфигурацию на текущем этапе задачи» и относится к эволюции методов на уровне конфигурации.

AutoPSO: от настройки параметров к изменению структуры алгоритма

AutoPSO рассматривает ключевые параметры и механизмы обучения PSO каккомпонуемые компоненты— инерционный вес, коэффициенты обучения и различные сочетания механизмов индивидуального и группового обучения автоматически подбираются и комбинируются внешним уровнем в варианты PSO, подходящие для разных задач. В отличие от простой настройки параметров, это превращает «выбор алгоритма» в «поиск структуры алгоритма», совершая скачок от адаптации параметров к самогенерации механизмов. Оба подхода дополняют друг друга: MetaDE отвечает за автоматическую оптимизацию конфигурации и гиперпараметров, AutoPSO — за автоматическую компоновку структуры и компонентов, вместе покрывая весь диапазон эволюции от адаптации параметров до самогенерации механизмов.

Структура затрат и инженерные зависимости

Ключевая цена двухуровневой оптимизации — эффект умножения: каждая оценка алгоритма-кандидата на внешнем уровне, как правило, требует нескольких запусков внутреннего уровня (повторные оценки из-за случайности, совместная проверка на нескольких задачах и т. п.), из-за чего вычислительный бюджет заметно возрастает. Поэтому необходимыраспределение бюджета,приближённая оценка,ранняя остановкаилираспараллеливаниеи другие компромиссы. С инженерной точки зрения эффективное выполнение опирается на тензорное распараллеливание, планирование Runtime и компонуемость алгоритмов; иначе масштаб поиска внешнего уровня будет подорван повторными оценками внутреннего.

Смена парадигмы
Эта архитектура смещает роль исследователя от «ручного проектирования одного алгоритма» к «проектированию пространства, в котором алгоритм может эволюционировать, и механизма его оценки»: результат работы — уже не фиксированный алгоритм, а набор правил поиска и обратной связи, позволяющих алгоритму непрерывно самосовершенствоваться.