Преобразование задачи: от выбора алгоритма к процессу поиска

В практическом применении эволюционных вычислений распространённая ошибка на старте — получив задачу, сразу спрашивать: «Что мне использовать — DE или PSO?» Эта фраза ставитвыбор алгоритмав самое начало решения, но она отвечает лишь на вопрос «каким инструментом искать», а не на вопросы «что искать, что считать хорошим и что категорически нельзя нарушать». А решает успех или провал именнокачество постановки задачи.

Так называемоепреобразование задачи— это переформулировка вопроса «какой алгоритм выбрать» в вопрос «как спроектировать исследуемый процесс»: сначала определить, что в реальной задаче может меняться, как оценивать изменения и какие ограничения должны выполняться, а затем позволить алгоритму итеративно генерировать и отбирать кандидатов в этом пространстве поиска. Выбор алгоритма становится одним из этапов проектирования процесса поиска, а не его отправной точкой.

Четыре определения, которые нужно зафиксировать в первую очередь

Изменяемые объекты: определить, какие параметры, структуры, стратегии или процессы допускают изменение, — так формируются пространство поиска и границы кодирования. Без этого решения-кандидаты невозможно ни представить, ни сгенерировать.
Метод оценки: определить, как после изменения судить о лучшем и худшем, включая целевую функцию, метрики оценки, направление предпочтений, а также меры допустимости и разнообразия. Способ оценки по сути определяет, в каком направлении пойдёт поиск.
Ключевые ограничения: разграничить жёсткие ограничения, которые обязательно должны выполняться, и мягкие предпочтения, допускающие компромисс. Если «срезать угол», подмешав жёсткие ограничения в целевую функцию, легко получить решения с высокими оценками, которые невозможно развернуть.
Процесс поиска: формализовать задачу как замкнутый цикл «генерация кандидатов — оценка — обратная связь — повторная генерация», чтобы результаты оценки влияли на последующую генерацию, а не жёстко задавали подход к решению заранее.

Что меняет такое преобразование

Столкнувшись с задачей оптимизации параметров, по привычке действуют так: «сначала выбрать алгоритм — например, DE или PSO — а потом начать подбирать параметры». После преобразования подход иной — нужно последовательно ответить на три вопроса: какие параметры настраиваются? по каким метрикам (или по каким конкурирующим метрикам) оценивать? какие ограничения категорически нельзя нарушать? Ответив на эти три вопроса, задача уже формализована как многокритериальная задача, подключаемая к эволюционному решателю; и только после этого решение о том, какой алгоритм и с какой конфигурацией операторов использовать для поиска, становится заменяемым инженерным решением внутри замкнутого цикла. Иными словами, алгоритм — не сам ответ, он лишь настраиваемое звено процесса поиска, а качество постановки задачи определяет верхнюю границу поиска.

Типичное заблуждение

Приписывать «плохую работу алгоритма» самому алгоритму, упуская три более принципиальные вещи: размытое определение пространства поиска, оторванность метрик оценки от реальных бизнес-целей и отсутствие жёстких ограничений. Сначала исправить постановку задачи, а потом говорить о замене алгоритма, — зачастую эффективнее, чем раз за разом менять алгоритмы.

Процесс преобразования задачи

На схеме задача решения переформулирована из «сначала выбрать DE или PSO» в исследуемый процесс: сначала определяются изменяемые объекты, метод оценки и ключевые ограничения, а затем генерация кандидатов, оценка, обратная связь и повторная генерация образуют замкнутый цикл. Выбор алгоритма поэтому — лишь заменяемое звено внутри цикла, а качество постановки задачи определяет верхнюю границу поиска.

Вопрос 1

Что нужно определить в первую очередь при преобразовании вопроса «какой алгоритм выбрать» в «проектирование исследуемого процесса»?

Определить, какие параметры, структуры, стратегии или процессы допускают изменение, формируя пространство поиска и границы кодирования

Сначала зафиксировать размер популяции равным 100

Сначала решить, использовать DE или PSO

Сначала определить общее число итераций

Вопрос 2

Какое из утверждений наиболее точно описывает роль «метода оценки» в преобразовании задачи?

Метод оценки автоматически определяется выбранным алгоритмом и не зависит от задачи

Метод оценки должен определять, как после изменения судить о лучшем и худшем, включая целевую функцию, метрики, предпочтения, а также меры допустимости и разнообразия

Метод оценки достаточно вычислить один раз в последней итерации

Метод оценки — это просто «чем выше точность, тем лучше», другие метрики не нужны

Вопрос 3

Требование к развёртыванию некоторого онлайн-сервиса — «задержка P99 не должна превышать 80 миллисекунд». К какой категории это относится при преобразовании задачи?

Одно из измерений кодирования пространства поиска

Жёсткое ограничение, которое обязательно должно выполняться; ни одно полученное в ходе поиска решение не должно его нарушать

Мягкое предпочтение, допускающее компромисс и при необходимости отказ

Бонусный пункт в целевой функции

Вопрос 4

В чём ключевое различие между формализацией задачи как замкнутого цикла «генерация кандидатов — оценка — обратная связь — повторная генерация» и разовым выбором алгоритма?

Замкнутый цикл обязательно считается быстрее разового выбора

Замкнутый цикл позволяет результатам оценки влиять на последующую генерацию, тем самым постоянно корректируя направление поиска, а не задавая подход жёстко с самого начала

В замкнутом цикле больше не нужно определять никаких ограничений

Замкнутый цикл возможен только при использовании популяционных алгоритмов

Вопрос 5

Почему говорят, что «алгоритм — не сам ответ»?

Потому что в реализации алгоритма всегда есть недостатки

Потому что качество постановки задачи определяет верхнюю границу поиска, а алгоритм — лишь настраиваемый и заменяемый компонент процесса поиска

Потому что алгоритм нестабильно работает на параллельном оборудовании

Потому что эволюционные алгоритмы неизбежно сходятся к локальному оптимуму

Кейс: многокритериальная настройка модели ранжирования рекомендаций

Прочитайте приведённый ниже сценарий, переформулируйте задачу из «выбора алгоритма» в «проектирование исследуемого процесса» и ответьте на два вопроса.

Некоторая онлайн-система рекомендаций нуждается в оптимизации своей модели ранжирования. К настраиваемым объектам относятся: скорость обучения, коэффициент регуляризации, число слоёв сети, число голов внимания и стратегия комбинирования признаков. Команда хочет за счёт настройки одновременно повысить офлайн-AUC и снизить затраты на онлайн-инференс. Доступные метрики: AUC на офлайн-валидационном наборе, задержка инференса P99 в онлайне, число параметров модели, число признаков. Известные требования к развёртыванию: задержка P99 не более 80 миллисекунд, потребление видеопамяти не более 12GB, а полученная модель должна напрямую запускаться на существующем фреймворке инференса. При соблюдении этих требований команда предпочла бы модель с меньшим числом параметров и меньшей задержкой. Сейчас команда спорит о том, что же использовать: DE или PSO.

1. Сформулируйте эту задачу как постановку вида «изменяемые объекты — метод оценки — ключевые ограничения» и чётко укажите, что относится к жёстким ограничениям, а что — к мягким предпочтениям.

Ответ:
Изменяемые объекты (пространство поиска и кодирование): скорость обучения, коэффициент регуляризации, число слоёв сети, число голов внимания, стратегия комбинирования признаков — эти непрерывные величины и дискретные структуры совместно образуют кодирование решений-кандидатов. Метод оценки: это многокритериальная задача — офлайн-AUC нужно максимизировать, а задержку P99 в онлайне и число параметров модели — минимизировать; кроме того, в качестве дополнительной меры можно использовать разнообразие между кандидатами; между AUC и задержкой существует явный конфликт целей, поэтому результат оценки должен представлять собой набор кандидатов, а не единственную оценку. Ключевые ограничения: задержка P99 ≤ 80 миллисекунд, видеопамять ≤ 12GB и возможность прямого развёртывания на существующем фреймворке инференса — эти три пункта относятся к жёстким ограничениям, которые обязательно должны выполняться; любое решение-кандидат при их нарушении становится недопустимым. Мягкие предпочтения: «меньше параметров, ниже задержка» — это мягкие предпочтения, допускающие компромисс при условии соблюдения жёстких ограничений; они служат для упорядочивания допустимых решений, а не для отбора.

2. Почему не следует начинать с вопроса «использовать DE или PSO»? Опишите, как организовать эту задачу в виде замкнутого процесса поиска, и объясните, как гарантировать развёртываемость результата.

Ответ:
Выбор алгоритма — это звено внутри проектирования процесса, а не отправная точка решения: пока пространство поиска, метод оценки и ограничения не определены, любое сравнение алгоритмов лишено единой базы для сравнения, а обсуждение «DE или PSO» — это лишь сравнение двух ещё не определённых процессов поиска. Организация замкнутого цикла: ① генерация кандидатов — выборка гиперпараметров и структурных конфигураций по пространству поиска; ② оценка — параллельное вычисление AUC на валидационном наборе, измерение или оценка задержки инференса и потребления видеопамяти, а также проверка жёстких ограничений; ③ обратная связь — обновление распределения поиска и давления отбора на основе многокритериальных оценок и предпочтений, концентрация ресурсов на более перспективных областях; ④ повторная генерация — формирование нового поколения кандидатов по обновлённому распределению, и так по циклу. Обеспечение развёртываемости: задержка P99, видеопамять и совместимость с фреймворком рассматриваются как жёсткие ограничения и сразу помечаются как недопустимые и отсеиваются на этапе генерации или оценки, чтобы избежать решений «с красивыми метриками, но не запускаемых»; для дорогих метрик, таких как задержка, можно сначала отсеивать с помощью суррогатных моделей или маломасштабных тестов, а затем проводить полную проверку для небольшого числа кандидатов. В итоге выводится набор решений-кандидатов с хорошим распределением по компромиссам между целями, который передаётся для инженерных и продуктовых решений, а конкретный выбор алгоритма (DE, PSO или гибридная стратегия) — лишь заменяемый компонент внутри замкнутого цикла.