Эволюция самих алгоритмов: от поиска ответов к улучшению методов

Традиционные эволюционные алгоритмы работают в условияхфиксированного механизма порождения: правила «как порождать ответы» — отбор, скрещивание, мутация — задаются человеком заранее, поиск движется лишь в пространстве ответов, и оптимизируется всегдакандидатное решение. Когда масштабы вычислительных ресурсов выросли, эта предзаданность стала потолком: если метод порождения кандидатов не меняется, система лишь повторяет заложенную схему.

Эволюция методов (Meta-Evolution)поднимает задачу на уровень выше: алгоритм не только выдаёт лучшие ответы, но и через внешний поиск непрерывно улучшаетстратегии, параметры и компоненты, порождающие ответы, совершая эволюцию от «поиска ответов» к «улучшению методов». Именно по этому пути развивается работа EvoX: сам метод порождения кандидатов (например, стратегии мутации и настройки параметров дифференциальной эволюции) становится объектом эволюции.

Две логики: внутренний уровень ищет ответы, внешний улучшает метод

Внутренний уровень: используяТекущий методрешает конкретную задачу и порождает кандидатные решения.
Внешний уровень: на основе обратной связи — качества решений, сигналов предпочтений, стабильности или затрат — улучшает метод, применяемый в следующем раунде.
В пространство поиска переносится не какое-то решение, асам механизм порождения кандидатов; именно поэтому он становится объектом, который можно оценивать, выбирать и обновлять.

На каком уровне размещать оптимизацию по предпочтениям

Оптимизация по предпочтениям может участвовать в обратной связи верхнего уровня, но необходимо разделять две категории целей:оценка текущего ответаиулучшение метода порождения ответов. Если трактовать «это решение нравится больше» напрямую как «эта стратегия лучше», то предпочтение к ответу подменяет оценку качества метода, и внешний поиск будет вестись шумом единичных результатов.

Типичные примеры

MetaDE заставляет внешний уровень эволюционировать стратегии мутации и параметры дифференциальной эволюции, тогда как внутренний уровень как обычно решает задачи; AutoPSO и EvoGO идут дальше — комбинируют компоненты роя частиц и учатся порождать кандидатов на основе исторической обратной связи, совершая переход от «изменения параметров» к «изменению структуры алгоритма».

Что приобретаем, чем платим

Этот сдвиг переводит проектирование алгоритмов от разовой ручной настройки к устойчивой адаптации, но и цена очевидна:разрастание пространства поиска(пространство методов намного больше пространства решений),рост стоимости оценки(для каждого набора методов-кандидатов нужно выполнять задачи внутреннего уровня, что обычно требует параллельной пакетной оценки на GPU для распределения затрат),рост сложности проверки(чтобы убедиться, что улучшения внешнего уровня действительно обобщаются, нужен отдельный дизайн валидации).

Схема двухуровневой эволюции

На схеме эволюция разделена на два уровня: внутренний решает конкретную задачу текущим методом и порождает кандидатные решения, внешний на основе обратной связи — качества решений, предпочтений, стабильности или затрат — улучшает стратегии, параметры и компоненты порождения кандидатов для следующего раунда; объект поиска тем самым поднимается от решений к механизму порождения кандидатов.

Вопрос 1

В чём самое существенное отличие эволюции методов от традиционных эволюционных алгоритмов с точки зрения «объекта оптимизации»?

Она включает в объект поиска сами стратегии, параметры и компоненты операторов, определяющие «как порождать ответы».

Она лишь увеличивает размер популяции, чтобы дольше искать в пространстве ответов.

Она отменяет оценку приспособленности и определяет лучшее только по ручным оценкам.

Она полностью заменяет операторы отбора, скрещивания и мутации нейронной сетью.

Вопрос 2

На что непосредственно опирается внешний поиск в двухуровневой структуре?

Чисто случайный шум, чтобы внешний уровень тоже сохранял разнообразие.

Исходные значения кандидатных решений внутреннего уровня без какой-либо оценки.

Обратная связь от результатов задач внутреннего уровня: качество решений, сигналы предпочтений, стабильность или затраты.

Новые параметры, вручную задаваемые инженером после каждой итерации.

Вопрос 3

Какой из следующих подходов к роли оптимизации по предпочтениям в системе эволюции методов наиболее уместен?

Напрямую заменить функцию приспособленности внутреннего уровня предпочтениями к ответам, чтобы оба уровня использовали одну оценку.

Позволить сигналам предпочтений участвовать в обратной связи верхнего уровня, но обрабатывать «оценку текущего ответа» и «улучшение метода порождения» как две отдельные категории целей.

Напрямую считать предпочтение пользователя к какому-то ответу единственным критерием качества метода.

Полностью запретить оптимизации по предпочтениям доступ к любым этапам внутреннего и внешнего уровней.

Вопрос 4

Какую из следующих издержек необходимо принять при использовании эволюции методов?

Внутреннее решение задач больше не требует никакой оценки.

Внешний поиск сходится без каких-либо сигналов обратной связи.

Пространство решений автоматически сжимается до очень малого, и внутреннему уровню почти не нужно искать.

Разрастание пространства методов, затраты на оценку внутреннего уровня для каждого набора методов и рост сложности проверки.

Вопрос 5

Какое из описаний MetaDE и AutoPSO является точным?

AutoPSO и EvoGO откатывают улучшение структуры алгоритма назад к изменению только параметров.

AutoPSO настраивает только один скалярный параметр — скорость обучения, остальные компоненты неизменны.

MetaDE отменяет внутренний алгоритм, и окончательный ответ выдаёт непосредственно внешний уровень.

MetaDE использует внешний уровень для эволюции стратегий мутации и параметров дифференциальной эволюции, а внутренний по-прежнему отвечает за поиск кандидатов для конкретных задач.

Кейс: построение системы эволюции методов для оптимизации компоновки чипа

Прочитайте сценарий и ответьте на два вопроса ниже.

Команда оптимизирует компоновку чипа на кластере GPU. У неё уже есть решатель на основе дифференциальной эволюции, но стратегии мутации и параметры долгое время зависят от ручного опыта, и производительность заметно колеблется на разных задачах компоновки. Команда планирует внедрить двухуровневую оптимизацию типа MetaDE: внутренний уровень решает конкретную задачу компоновки с текущей конфигурацией, внешний улучшает конфигурацию по результатам задач внутреннего уровня, а также хочет направлять поиск с помощью пользовательских предпочтений (предпочтительнее меньшая длина соединений и меньшая перегрузка).

1. Определите входы, выходы и сигналы обратной связи для внутреннего и внешнего уровней этой системы, а также объясните, почему результат одного решения внутреннего уровня нельзя напрямую использовать как цель оптимизации внешнего уровня.

Ответ:
Внутренний уровень: на вход подаётся текущий метод (стратегии мутации и конфигурация параметров) и конкретный экземпляр задачи компоновки, на выходе — кандидатная компоновка и качество её решения. Внешний уровень: на вход подаётся сводная статистика результатов задач внутреннего уровня, на выходе — обновлённые стратегии и конфигурация параметров. Сигналы обратной связи должны агрегироваться по задачам и повторным запускам (например, средние значения по задачам, квантили или показатели стабильности), а не браться из одного запуска. Причина в том, что качество отдельного решения сильно зависит от конкретного экземпляра и случайности: оно измеряет «насколько хорош этот ответ», а не «насколько хорош этот метод». Если напрямую управлять внешним уровнем по единичному результату, им будут руководить различия между экземплярами и шум, и легко выбрать конфигурацию, случайно эффективную лишь на одной-двух задачах.

2. Команда хочет внедрить сигналы предпочтений и при этом контролировать издержки эволюции методов. Объясните, как следует размещать сигналы предпочтений, и перечислите как минимум две основные издержки с подходами к их снижению.

Ответ:
Размещение сигналов предпочтений должно быть уровневым: на внутреннем уровне можно использовать функцию оценки со взвешиванием по предпочтениям для отбора кандидатных компоновок; на внешнем уровне сначала нужно преобразовать её в устойчивый по задачам критерий сравнения (например, взвешенную оценку длины соединений и перегрузки с её дисперсией), и лишь затем использовать для выбора конфигураций методов, избегая прямой трактовки предпочтения к одному ответу как оценки качества метода. Основные издержки и подходы: (1) разрастание пространства поиска — пространство методов намного больше пространства решений, можно применять группировку параметров, многоуровневый поиск и стратегию «сначала грубо, потом точно» для контроля масштаба; (2) рост стоимости оценки — для каждого набора методов-кандидатов нужно выполнять задачи внутреннего уровня, можно снизить затраты за счёт параллельной пакетной оценки на GPU, суррогатной оценки на малой выборке и механизмов ранней остановки; (3) рост сложности проверки — необходимо сохранять отдельный набор проверочных задач и выполнять повторные запуски, чтобы проверить, действительно ли улучшения внешнего уровня обобщаются, и предотвратить переобучение на обучающих задачах.