8

Анализ результатов эксперимента и визуализация

AI999第7课:AI Native 科研范式与 EvoX 实战切入
00:00

В эксперименте EvoX по многокритериальной прокладке маршрута для складского робота«однажды полученное красивое решение» вовсе не означает реального прогресса оптимизации. Чтобы судить о достоверности отдельного запуска, необходимо одновременно располагать двумя категориями свидетельств: одни описываютпроцесс поиска(кривые сходимости каждой цели по числу итераций), другие описываютитоговое решение(визуализацию маршрута и таблицу метрик при фиксированной планировке склада). Кривые отвечают лишь на вопрос «идёт ли поиск», а маршрут и метрики — на вопрос «пригоден ли результат».

Анализ результатов эксперимента и визуализация: тренд сходимости × проверка маршрутаТренд многокритериальной сходимостиЗначение цели0100200300400Номер итерации →Цель 1. Длина маршрута ↓Цель 2. Энергозатраты ↓ (стагнация в среднесрочной и поздней фазе)Показатель гиперобъёма ↑ (комплексное улучшение)Выравнивание оранжевой линии ≠ сходимость: требуется анализ журналов и повторных запусковСравнение маршрутов при фиксированной планировке складаСтартФинишСтеллажОптимальный маршрутСравнительный маршрутМетрикаОптимальный маршрутСравнительный маршрутДлина маршрута128.4156.9Общее число поворотов69Совокупная стоимость1.001.21Вывод = тренд процесса + итоговый результат, ни одно из двух нельзя опускать

I. Сначала читаем кривые сходимости: что происходит в процессе поиска

Построив кривые значений каждой цели по числу итераций, наблюдаюттренда не значение в отдельной точке. На практике необходимо чётко различать четыре типовые формы:

  • Непрерывное улучшение: кривая стабильно снижается в начальной и средней фазе (или комплексный показатель стабильно растёт), что свидетельствует о продолжающемся эффективном поиске популяции — скрещивание и мутация постоянно порождают лучшие решения-кандидаты.
  • Колебания: кривая колеблется вверх-вниз без явной долгосрочной тенденции, что обычно связано с шумом оценки, конфликтом ограничений или чрезмерным разнообразием; следует проверить функцию оценки и настройки параметров.
  • Стагнация: кривая на некотором интервале почти горизонтальна, но в последующих поколениях может вновь улучшиться — это «временная потеря направления улучшения».
  • Преждевременная сходимость: кривая очень рано полностью выравнивается и больше не восстанавливается, что чаще всего вызвано потерей разнообразия популяции или преждевременным сжатием пространства решений.

II. Затем рассматриваем итоговый маршрут при фиксированной планировке склада

Наложив полученный в ходе эволюции оптимальный маршрут и сравнительный маршрут наодну и ту же карту склада с фиксированной планировкой, проверяют три вещи: действительно ли путь достижим, разумно ли выполнено обходное препятствий и устойчив ли последний участок вблизи финиша. Фиксированная планировка — ключевое ограничение: только при неизменной среде различия маршрутов между запусками и наборами параметров можно отнести к самой оптимизации, а не к изменению карты.

III. Подкрепление выводов полными экспериментальными данными

Вывод засчитывается только при воспроизводимости. Сохраняйте и сверяйте: конфигурацию запуска и случайное зерно, журнал итераций, значения каждой цели по поколениям, итоговый маршрут и результаты оценки. При необходимости повторными запусками или перекрёстными проверками убедитесь, что один и тот же вывод стабильно подтверждается. Если на поздней стадии кривая больше не улучшается заметно, по полному журналу следует определить, является ли это преждевременной сходимостью, насыщением оценки или приближением к пригодному решению; не делайте вывод по одному скриншоту.

Типичные ошибочные суждения
Плавное раннее выравнивание кривой вовсе не автоматически означает «найдено оптимальное решение» и не означает «алгоритм не работает»; точно так же красивый на вид маршрут не гарантирует стабильности поиска. Единичный лучший результат может быть как реальным улучшением, так и следствием случайных колебаний или насыщения оценки — тренд процесса и итоговый результат должны подтверждать друг друга.