Сложность реального мира и многокритериальный компромисс

В реальном мире задачи оптимизацииредко имеют лишь одну цельи редко имеют единственный ответ. Одна и та же система обычно должна одновременно учитывать производительность, задержку, энергопотребление и стоимость; эти цели тянут друг друга в разные стороны, и улучшение одной из них часто достигается за счёт другой. Поэтому ценность EvoX не в том, чтобы быстрее сойтись к некоему «единственному оптимуму», а в том, чтобысохранять набор различающихся между собой кандидатных решений, позволяя исследователям сравнивать выгоды и издержки в рамках ограничений и продолжать поиск.

Почему в реальном мире редко существует единственное оптимальное решение

Цели и ограничения меняются в зависимости от сценария: для офлайн-оценки, для мобильных устройств и для высоконагруженного онлайн-сервиса приоритетные цели совершенно разные, и одной конфигурации трудно выигрывать сразу во всех случаях.
Ограничения имеют незыблемые границы: верхний предел сквозной задержки, бюджет на удельную стоимость инференса, верхние пределы видеопамяти и энергопотребления — это границы, которым кандидатное решение обязано соответствовать, а не разменная монета, которую можно обменять на «в целом лучший» результат.
Цели тянут друг друга в разные стороны: рост точности → рост вычислительных затрат и энергопотребления → рост задержки и стоимости; обратное сокращение задержки → обычно требует снижения точности. Бесплатных улучшений не бывает.

Недооминируемые решения и фронт Парето

Лишь когда два кандидата не удаётся сравнить по абсолютному превосходству, они образуют настоящее пространство выбора. Критерий прост: если один кандидат ни в одной цели не уступает другому и хотя бы в одной цели превосходит его, то другой кандидат —доминируемое решение, и его можно отсеять на следующем раунде; в противном случае оба кандидата взаимно недооминируемы, и оба должны остаться в множестве кандидатов. Все взаимно недооминируемые кандидаты, соединённые вместе, образуют фронт Парето — он в полном виде сохраняет соотношения обмена «сколько одной цели придётся пожертвовать ради улучшения другой».

Ключевые вопросы исследователя

Что можно изменить? — архитектуру модели, стратегию дистилляции, разрядность квантования, размер батча или стратегию планирования сервиса?
Какая обратная связь подтвердит, что изменение действительно эффективно? — офлайн-точность, онлайн-перцентили задержки, удельная стоимость или кривые потребления ресурсов?
Какие ограничения нельзя нарушать? — жёсткий верхний предел задержки, бюджет стоимости, границы соответствия требованиям и безопасности.
Справедливо ли сравнение? — проводится ли оно на одинаковом оборудовании, при одинаковом распределении трафика и по одинаковой методике оценки.
Достаточно ли результатов для обоснования вывода? — достаточны ли объём выборки и охват онлайн-трафика, воспроизводим ли вывод.
Что сохранить в следующем раунде, а от чего отказаться? — отсеять доминируемые решения, сохранить взаимно недооминируемые различающиеся кандидаты.

Суждение — редкость большая, чем код

Искусственный интеллект поможет быстро реализовать ответ, но «какой вопрос заслуживает ответа, каким доказательствам стоит доверять, какой результат достаточно хорош» — по-прежнему решает исследователь. Код дёшев, а ключ — это вкус и суждение: позвольте системе попасть в реальную среду, принимать реальную обратную связь и в ходе длительной работы постоянно порождать, проверять и сохранять улучшения.

Многокритериальный компромисс и фронт Парето

На схеме кандидаты сравниваются по нескольким измерениям — производительности, задержке, энергопотреблению и стоимости: если один кандидат ни в одной цели не уступает другому и хотя бы в одной превосходит его, то другой является доминируемым решением и может быть отсеян на следующем раунде. Взаимно недооминируемые кандидаты вместе образуют фронт Парето, полностью сохраняя соотношения обмена, при которых улучшение одной цели требует жертвы другой.

Вопрос 1

Какой наиболее типичный признак задач оптимизации в реальном мире указан на этой странице?

Цели и ограничения никогда не меняются, поэтому решение достаточно найти один раз и использовать долго.

Несколько целей тянут друг друга в разные стороны, и улучшение одной часто достигается за счёт другой.

Если вычислительных ресурсов достаточно, всегда существует единственное и устойчивое оптимальное решение.

Есть только одна цель для оптимизации, а остальные параметры — фиксированные константы.

Вопрос 2

В чём главный риск «преждевременной сходимости к единственному ответу» в многокритериальном сценарии?

Обучение затягивается и результат не удаётся сдать в срок.

Результаты эксперимента не воспроизводятся, что мешает публикации.

Теряется информация о компромиссах между кандидатами, и лицо, принимающее решение, не может сравнить выгоды и издержки.

Растёт число параметров модели, а вместе с ним и потребление видеопамяти.

Вопрос 3

Какое кандидатное решение можно назвать «недооминируемым»?

Тот кандидат, который быстрее всех выполняет инференс и потребляет меньше всего ресурсов.

Тот кандидат, который получил наивысший балл по единственной самой важной цели.

Тот, который ни в одной цели не уступает другим кандидатам и хотя бы в одной превосходит их, поэтому его нельзя превзойти всесторонне.

Тот кандидат, у которого значение функции потерь на обучающих данных минимально.

Вопрос 4

Какой из перечисленных подходов к ограничениям соответствует точке зрения этой страницы?

Ограничения автоматически определяются средой выполнения, и исследователю не нужно о них заботиться.

После сведения всех ограничений к одной цели их больше не нужно рассматривать отдельно.

Сначала определить, какие ограничения нельзя нарушать, и рассматривать их как границы, которым обязаны соответствовать кандидатные решения.

Если итоговый комплексный показатель лучше, можно временно превысить верхний предел задержки ради выгоды.

Вопрос 5

В чём состоит самый незаменимый вклад исследователя в эволюционном цикле EvoX?

Полностью передать определение критериев оценки системе, а исследователю лишь запускать процесс.

Как можно быстрее написать больше кода и быстро реализовать ответ.

Максимально повысить пропускную способность одной генерации, чтобы число кандидатов было как можно больше.

Судить о том, какой вопрос заслуживает ответа, каким доказательствам стоит доверять и какой результат достаточно хорош.

Кейс-стади: многокритериальный компромисс в сервисе моделей

Прочитайте сценарий и ответьте на вопросы.

Команда готовится вывести рекомендательную модель в онлайн-сервис. В наличии три типа кандидатов: самая точная большая модель (лидирует по точности, но имеет высокую задержку, большое энергопотребление GPU и высокую удельную стоимость), лёгкая малая модель (минимальная задержка и минимальная стоимость, но заметно ниже точность) и несколько промежуточных дистиллированных моделей. Бизнес-заказчик выдвигает два жёстких требования: сквозная задержка должна укладываться в 80 миллисекунд, а стоимость одного инференса не должна превышать верхнюю границу бюджета. Команда решает с помощью EvoX непрерывно эволюционировать набор кандидатных решений и собирать обратную связь на реальном трафике.

1. Почему команде не следует сдавать в качестве финального решения только вариант с «наивысшей точностью»?

Ответ:
Потому что точность, задержка, энергопотребление и стоимость тянут друг друга в разные стороны, и единственное решение скрывает цену компромисса. Во-первых, вариант с наивысшей точностью вполне может нарушить два жёстких ограничения — предел задержки в 80 миллисекунд или бюджет стоимости, — а кандидат, нарушающий границы, не должен попадать в набор для передачи. Во-вторых, даже если он удовлетворяет ограничениям, заказчику необходимо видеть соотношения обмена между разными кандидатами — «сколько задержки и стоимости даёт прирост точности», — чтобы принимать решение с учётом бизнес-приоритетов. Поэтому правильный подход — использовать EvoX для вывода набора недооминируемых кандидатов на фронте Парето, чтобы одновременно были видны решение с низкой задержкой и низкой точностью, сбалансированное решение и решение с высокой точностью и высокой стоимостью, а выбор делал руководитель в рамках ограничений и приоритетов — а не подсовывать единственный «оптимальный» ответ под видом единственно возможного.

2. Какие ключевые вопросы команда должна задавать в процессе эволюции? Приведите не менее четырёх и объясните, как они влияют на то, «что сохранить в следующем раунде, а от чего отказаться».

Ответ:
К числу ключевых вопросов относятся: ① Что можно изменить — архитектуру модели, стратегию дистилляции, разрядность квантования или же батчинг и планирование сервиса; это определяет размер и направление пространства поиска. ② Какая обратная связь подтвердит эффективность изменения — офлайн-точность, онлайн-перцентили задержки, удельная стоимость инференса, кривые потребления ресурсов; это определяет, насколько достоверен сигнал оценки. ③ Какие ограничения нельзя нарушать — верхний предел задержки в 80 миллисекунд, бюджет стоимости, границы соответствия требованиям и безопасности; это очерчивает допустимую область, которой обязаны удовлетворять кандидаты. ④ Справедливо ли сравнение — проводится ли оно на одинаковом оборудовании, при одинаковом распределении трафика и по одинаковой методике оценки; несправедливое сравнение ведёт к ошибочным выводам. ⑤ Достаточно ли результатов для обоснования вывода — достаточны ли объём выборки и охват онлайн-трафика, воспроизводим ли вывод. ⑥ Что сохранить в следующем раунде, а от чего отказаться. Опираясь на эти ответы, команда сначала отсеивает кандидатов, нарушающих жёсткие ограничения, затем — доминируемые решения, всесторонне превзойдённые другими кандидатами, и сохраняет взаимно недооминируемые и заметно различающиеся решения; так удаётся избежать преждевременной сходимости и сохранить варианты выбора при изменении бизнес-приоритетов.