3

A expansão das fronteiras evolutivas pelos grandes modelos e pelo poder computacional

AI999第5课:方法演化:从优化解到优化算法本身
00:00

A computação evolutiva sempre foi limitada por um problema real: quantos candidatos é possível avaliar dentro de um tempo finito. Hoje, essa restrição vem sendo afrouxada simultaneamente por duas forças de engenharia —o poder de processamento paralelo das GPUsea geração semântica dos grandes modelos. Juntos, eles formam a dupla base de engenharia da computação evolutiva:o poder computacional determina "quantos candidatos podem ser explorados de uma vez", enquanto os grandes modelos determinam "que formas de candidatos podem ser exploradas", e ambos, em conjunto, ampliam as fronteiras do objeto evolutivo dos parâmetros numéricos para programas, arquiteturas de modelos e os próprios mecanismos algorítmicos.

A expansão das fronteiras evolutivas pelos grandes modelos e pelo poder computacionalExpansão gradual das fronteiras do objeto evolutivo1Parâmetros numéricosUm conjunto de valores de parâmetros sob estrutura fixa2Programa / Estrutura do modeloTrechos de código executável · Topologia de rede / modelo substituto3Mecanismo algorítmicoO próprio fluxo de geração e avaliação também se torna objeto evolutivoAvaliação em lote com tensorizaçãoGeração de candidatos em nível semânticoo poder de processamento paralelo das GPUsAvaliação em lote com tensorização · Paralelismo no nível da populaçãoDetermina "quantos candidatos podem ser explorados de uma vez"Amplitudea geração semântica dos grandes modelosGeração de candidatos em nível de código / estruturaDetermina "que formas de candidatos podem ser exploradas"Complexidade de formaComplementar↔A amplitude cabe ao poder computacional, a qualidade e a forma cabem ao modelo — são complementares, e nenhum pode faltar

Base computacional: mover o espaço de candidatos do processamento serial para os tensores

Nas implementações tradicionais, a avaliação da população é um loop serial na CPU: apenas um indivíduo é processado por vez, e o custo de escalonamento se acumula com o tamanho da população. Bases de código aberto como o EvoX organizam candidatos, resultados de avaliação e estado do algoritmo de forma unificada comotensores computáveis em conjunto: a mutação atua sobre toda a população, e a avaliação e a atualização de estado, junto com a seleção, entram no grafo computacional para otimização por compilação. O resultado direto em engenharia é que "explorar dezenas de milhares de candidatos simultaneamente" deixou de ser um truque de laboratório e se tornou prática comum.

Esse tipo de base divide o sistema em algoritmo, módulos de problema, fluxo de trabalho e agendador de Runtime: o pesquisador só precisa se concentrar em "como evoluir", enquanto o Runtime se encarrega de agendar a computação em lote para GPUs, dispositivos aceleradores ou clusters distribuídos. É preciso ter clareza: o poder computacional resolvea capacidade de processamento, não a "inteligência". Ele não julga se um candidato é bom ou ruim, apenas calcula a aptidão de toda a população de uma só vez. É osuporte de basepara a expansão do espaço de candidatos, mas não determina como os candidatos se parecem.

Base semântica: elevar a forma dos candidatos de vetores numéricos para soluções estruturais

A contribuição dos grandes modelos não está em calcular mais rápido, mas em compreender código, conhecimento de domínio e o contexto da tarefa, possuindocapacidade de geração em nível semântico. Por isso, ele pode construir candidatos estruturalmente complexos — um trecho de código de resolução diretamente executável, uma topologia de modelo substituto — em vez de apenas emitir um vetor numérico. O espaço de "formas" dos candidatos se abre a partir daí.

A expansão em três níveis das fronteiras do objeto evolutivo

  1. Parâmetros numéricos: configuração clássica, em que os membros da população são um conjunto de valores de parâmetros sob estrutura fixa.
  2. Programa / Estrutura do modelo: os membros da população passam a ser trechos de código executável, ou topologias de redes e modelos substitutos. A capacidade de geração dos grandes modelos é justamente a porta de entrada para esse nível.
  3. Mecanismo algorítmico: até o próprio fluxo de "como gerar e como avaliar" entra nos objetos a serem evoluídos. É exatamente essa a premissa que torna possível a abordagem posterior de "usar a evolução para melhorar a evolução" (como MetaDE e AutoPSO).

Tomemos como exemplo a otimização de perfis aerodinâmicos: a abordagem tradicional só consegue buscar em alguns parâmetros numéricos predefinidos; quando os grandes modelos podem ler e escrever código de resolução e construir estruturas de modelos substitutos, e a GPU consegue avaliar em paralelo um lote de toda uma população, o objeto de busca sobe de "um conjunto de valores de parâmetros" para "um conjunto de esquemas de geração e avaliação em si".

Complementares, não substitutos

Os dois são complementares: o poder computacional amplia aAmplitude, e os grandes modelos melhoram aqualidade e a complexidade de forma dos candidatos; sem qualquer um dos dois, a expansão das fronteiras não se sustenta. Com apenas poder computacional e sem geração semântica, o objeto de busca continua limitado a codificações previamente fixadas; com apenas capacidade de geração e sem avaliação em lote, a enorme quantidade de candidatos não pode ser filtrada em tempo aceitável.

O custo da expansão das fronteiras

A expansão das fronteiras introduz, ao mesmo tempo, novas restrições: primeira,o aumento do custo de avaliação, em que uma única avaliação pode passar de milissegundos para minutos; segunda,a verificação de correção se torna mais difícil, pois o código gerado pode não compilar, ou não satisfazer restrições físicas e de engenharia; terceira,o critério para determinar uma "resposta utilizável" fica mais vago, exigindo integração com etapas como o equilíbrio multiobjetivo e a decisão de especialistas.

Equívocos comuns
Tomar os grandes modelos como um "calculador de aptidão mais rápido" é o erro de interpretação mais típico. O valor dos grandes modelos está nolado da geração dos candidatos— ampliando a forma e a complexidade dos candidatos; a avaliação em lote continua a cargo do pipeline paralelo com tensorização. Por outro lado, acreditar que basta poder computacional suficiente para buscar automaticamente candidatos em nível de programa também ignora a questão de "de onde vêm os candidatos".