5

方法演化的核心思想与跨越

AI999 第5课:方法演化:从优化解到优化算法本身
00:00

前面的课程把演化过程组织为可整体计算的张量,解决了大规模候选评价的效率问题。这一页要再向前跨一步:如果优化的对象不只是候选答案,而是产生候选答案的方法,会发生什么?方法演化(Meta-Evolution)的核心跨越,就是把“产生候选解的方法”本身转化为优化对象:不再只演化答案,而是演化生成与改进答案的算法、策略或算子,使算法从固定工具转变为持续进化的求解器。

方法演化:双层反馈闭环 把产生候选解的方法本身纳入优化对象,让算法从固定工具变为持续进化的求解器 问题族 / 环境 多任务分布 评价信号来源 跨任务泛化 两层共享同一环境 环境 任务 方法层 · 外层演化 可演化方法空间:把方法本身作为优化变量 变异策略 交叉概率 算子组合 超参数 方法更新:选择 · 变异 · 重组(由评价反馈驱动) 解层 · 内层求解 在具体任务上生成候选并接受评价 候选解生成 任务评价 适应度反馈 方法 / 配置 评价反馈 · 信用分配 关键区分 只有解在变 → 仍是传统优化 方法层也接受反馈并更新 → 方法演化

一、从“演化答案”到“演化方法”

传统路径可以写成一个单路链条:问题 → 固定算法 → 候选解。研究者先选定算法或算子,再让算法在问题空间里搜索,算法本身不会改变。方法演化把链条改写为:问题族/环境 → 可演化方法空间 → 候选生成器 → 候选解评价 → 方法更新 → 再生成。优化变量从解 x 扩展到方法、算子、超启发式规则或候选生成过程 m。这里的“方法”可以是差分进化中的变异策略、粒子群中的惯性权重与拓扑、局部搜索算子,也可以是更上层的算法选择与调度规则。

二、五个关键转变

  • 演化对象扩展:从解、参数、结构,扩展到方法、算子、超启发式规则或候选生成过程。
  • 问题重述:优化问题由“在给定算法下找最优解”变为“在任务或环境中演化出更会找解的求解器”。
  • 反馈关系:方法产生候选并接受任务评价,评价结果反过来驱动方法的变异、选择与重组,形成方法层与解层之间的持续反馈。
  • 评价标准迁移:方法优劣不只看单次最优,而看跨任务、跨环境的泛化、鲁棒性、多样性与计算成本。
  • 角色转变:研究者不再只设计固定流程,而是设计可演化方法空间、反馈信号与选择机制。

三、反馈闭环为什么关键

方法层与解层不是两个独立的优化循环。方法层生成一个候选生成器,解层用它在具体任务上产生候选并得到评价;这些评价经过聚合或信用分配后,回到方法层,驱动方法本身的变异、选择和重组。若反馈信号太稀疏或只奖励短期最优,方法层容易过拟合到单个任务;若反馈信号包含跨任务泛化与多样性,方法层才能学到“更会找解”的元策略。这里可以理解为在方法空间上又开了一层演化搜索,但它的评价离不开解层的真实表现。

四、概念基座:MetaDE 与 AutoPSO

方法演化不是停留在口号。MetaDE 让差分进化的策略、参数甚至算子组合成为可演化对象;AutoPSO 则把粒子群的结构、参数或拓扑纳入自动搜索。它们共享同一个出发点:把“产生候选的方法”纳入优化对象,实现算法的自我进化。本页先建立统一概念基座,具体架构与算法结构演化将在后续展开。

关键区分
如果方法固定不变,系统仍然是在给定算法下找解;只有当方法层也接受反馈并更新,才进入方法演化。