MetaDE: arquitetura aninhada de algoritmos que otimizam algoritmos

Na lição anterior, os sistemas evolutivos acumulavam capacidade continuamente por meio do ciclo fechado de "geração—avaliação—seleção—herança". Nesta lição, levamos essa ideia um nível mais para dentro: não se trata apenas de usar algoritmos para resolver problemas, mas de usar algoritmos para aperfeiçoar algoritmos.MetaDE é exatamente uma arquitetura evolutiva aninhada desse tipo — ela divide a Evolução Diferencial (DE) em duas camadas, interna e externa, tornando a "otimização de algoritmos por algoritmos" um processo computacional executável.

I. Divisão de papéis entre as duas camadas: quem resolve, quem evolui

O MetaDE organiza a DE em duas camadas, interna e externa, cujos objetos de trabalho são completamente distintos:

DE interna (camada de tarefa): voltada para tarefas reais de otimização, mantém uma população de soluções candidatas e executa repetidamente mutação, cruzamento e seleção, aproximando-se gradualmente de boas soluções para a tarefa. Ela responde à pergunta "como está indo a resolução deste problema".
DE externa (camada meta): voltada para o próprio algoritmo, cada indivíduo da população não é uma solução da tarefa, mas sim um conjunto completo de configurações de "estratégia de mutação + parâmetros", como qual modo de mutação adotar e quais valores usar para o fator de escala e a probabilidade de cruzamento. Ela responde à pergunta "esta configuração de algoritmo funciona bem".

Portanto, a camada externa não otimiza diretamente as variáveis da tarefa; estas são sempre tratadas pela camada interna. A camada externa muda apenas o "manual de trabalho" da camada interna.

II. Ciclo fechado de interação: envio de configurações e retorno de desempenho

As duas camadas estão acopladas por um canal bidirecional, formando um ciclo fechado: a camada externa primeiro gera um conjunto de configurações do algoritmo e o envia (→) à camada interna; a camada interna executa a tarefa conforme essa configuração e, ao terminar, devolve o desempenho na tarefa (→) à camada externa; com base nisso, a camada externa retém e recombina as configurações de melhor desempenho e gera a configuração da rodada seguinte. Todo o fluxo pode ser resumido assim: configuração externa → resolução interna → desempenho na tarefa → atualização externa, repetindo-se continuamente.

Esse ciclo fechado traz uma propriedade fundamental: a estratégia de mutação e os parâmetros do algoritmo da camada interna deixam de ser definidos uma única vez pelo ser humano e mantidos fixos; passam a ser continuamente reescritos conforme a busca da camada externa, e o algoritmo ganha assim um canal de autoaperfeiçoamento.

III. Premissas de execução: paralelismo e trade-off de custo

A estrutura aninhada não é isenta de custos. A cada avaliação da camada externa, é preciso executar integralmente um conjunto de configurações na tarefa, o que amplia bastante o custo de avaliação; quanto maior a população externa, maior o custo total. É justamente por isso que o MetaDE depende do paralelismo em GPU: vários conjuntos de configurações da camada interna podem ser avaliados ao mesmo tempo, o tempo necessário para uma única iteração da camada externa é bastante reduzido, e só assim a meta-evolução aninhada se torna executável em termos de engenharia. Por outro lado, se os recursos paralelos disponíveis forem insuficientes, reduzir a escala da camada externa ou diminuir a precisão da avaliação interna costuma ser mais realista do que ampliar a busca às cegas.

Mal-entendido comum

Equiparar o MetaDE a "ajuste manual de parâmetros" não é preciso. O ajuste manual é uma tentativa e erro pontual, feita de fora do ciclo, enquanto o MetaDE incorpora a própria configuração ao ciclo evolutivo: as configurações são repetidamente geradas, avaliadas e recombinadas, e o objeto de busca é a combinação de "estratégia de mutação + parâmetros", e não apenas alguns valores numéricos.

Arquitetura evolutiva aninhada do MetaDE

A figura mostra a estrutura de duas camadas, interna e externa, do MetaDE: cada indivíduo da população da camada meta externa é um conjunto completo de estratégias de mutação e configurações de parâmetros, responsável por evoluir as configurações do algoritmo; a camada de tarefa interna mantém a população de soluções candidatas conforme a configuração enviada pela camada externa e resolve a tarefa real de otimização. As duas camadas estão acopladas por um canal bidirecional: a camada externa envia as configurações, a interna devolve o desempenho na tarefa, e com base nisso a camada externa retém e recombina as configurações melhores, formando um ciclo fechado de autoaperfeiçoamento do algoritmo.

Pergunta 1

Na estrutura aninhada do MetaDE, qual é a responsabilidade direta da DE interna?

Iterar soluções candidatas em uma tarefa concreta de otimização e reportar o desempenho na tarefa

Evoluir a estratégia de mutação e os parâmetros usados pelo algoritmo da camada interna

Determinar o tamanho da população da camada externa e a quantidade de dispositivos paralelos disponíveis

Avaliar a qualidade do processo de busca da camada externa

Pergunta 2

O que representa cada indivíduo da população da DE externa?

Uma função objetivo fixa e imutável

Um conjunto de estratégias de mutação e configurações de parâmetros da DE interna

O registro do tempo consumido em uma avaliação da tarefa pela camada interna

Uma solução candidata da tarefa a ser resolvida

Pergunta 3

No ciclo fechado de interação entre as camadas interna e externa, qual é a informação-chave que retorna da camada interna para a externa?

A definição da probabilidade de cruzamento da população da camada externa

Os valores iniciais da configuração do algoritmo da camada interna

O feedback de desempenho obtido após a camada interna executar a tarefa

O uso de memória dos dispositivos paralelos

Pergunta 4

Por que o paralelismo em GPU é especialmente crítico para a aplicação prática do MetaDE?

Porque somente GPUs podem executar a mutação e a seleção da evolução diferencial

Porque a avaliação aninhada multiplica o custo computacional, e o paralelismo reduz o custo de tempo da busca da camada meta

Porque o paralelismo garante que a camada externa sempre encontrará a configuração globalmente ótima

Porque o paralelismo elimina a necessidade de avaliar as configurações da camada interna

Pergunta 5

Qual das afirmações a seguir descreve com precisão a diferença entre o MetaDE e o "ajuste manual de parâmetros" ou uma busca em grade pontual?

Os dois são totalmente equivalentes, apenas com nomes diferentes

No MetaDE, a camada externa otimiza diretamente as variáveis da tarefa, e a camada interna apenas registra os resultados

O MetaDE busca apenas parâmetros numéricos, sem envolver estratégias de mutação

O MetaDE incorpora as configurações do algoritmo ao ciclo evolutivo, e as configurações são continuamente geradas, avaliadas e recombinadas

Caso: usar o MetaDE para evoluir o solucionador da camada interna

Leia o cenário e responda às duas perguntas a seguir.

Uma equipe precisa encontrar soluções de alta qualidade para uma tarefa de otimização de rotas logísticas. Em vez de definir manualmente a estratégia de mutação e os parâmetros da evolução diferencial, eles adotam o MetaDE: a DE externa mantém vários conjuntos de configurações de "estratégia de mutação + parâmetros", e a DE interna executa a tarefa conforme a configuração atribuída, devolvendo a qualidade da rota e o tempo gasto. A equipe dispõe de apenas um servidor com 8 GPUs, e o orçamento para uma única avaliação completa é limitado.

1. Indique, neste cenário, o que pertence ao espaço de busca da camada externa e o que pertence ao processo de resolução da camada interna; explique também o valor de colocar a estratégia de mutação na evolução da camada externa em vez de fixá-la manualmente.

Resposta:
O espaço de busca da camada externa é o "conjunto de configurações do algoritmo", ou seja, qual estratégia de mutação adotar e os respectivos valores de parâmetros (como fator de escala e probabilidade de cruzamento); a camada externa faz seleção e recombinação em torno dessas configurações. O processo de resolução da camada interna consiste em manter soluções candidatas em uma tarefa fixa de otimização de rotas, executando repetidamente mutação, cruzamento e seleção, e reportando o desempenho na tarefa, como a qualidade da solução. O valor de colocar a estratégia de mutação na evolução da camada externa está em que o objeto de busca se expande de "alguns valores numéricos" para a "combinação de estratégias e parâmetros". Quando a estrutura da tarefa é diferente, ou quando a busca está em fases distintas (mais exploração no início, mais convergência no final), a estratégia adequada muda; delegar isso à evolução da camada externa permite que essa troca de estratégia ocorra automaticamente, evitando resultados subótimos e tentativas e erros repetidos causados pela fixação manual de uma única estratégia por longos períodos.

2. A avaliação aninhada eleva significativamente o tempo total. Combinando paralelismo em GPU e controle do orçamento de avaliação, apresente medidas concretas para viabilizar essa arquitetura e explique os trade-offs envolvidos.

Resposta:
Medidas concretas: (1) Avaliação em lote paralela — distribuir simultaneamente várias configurações de um lote da camada externa em várias GPUs para executar a DE interna, fazendo o tempo de relógio de parede de uma iteração da camada externa passar de "soma sequencial" para "máximo em paralelo", comprimindo bastante o tempo de busca da camada meta; (2) Avaliação em níveis — a camada interna faz primeiro uma avaliação rápida com população menor ou menos iterações, e só as poucas configurações com melhor desempenho passam por avaliação completa, formando uma triagem em dois níveis, do grosso ao fino; (3) Restrição do escopo de busca — limitar o tamanho da população e o número de iterações da camada externa, além de armazenar em cache e reutilizar configurações já avaliadas, evitando cálculos repetidos. Trade-offs: quanto mais grosseira a avaliação interna, maior o ruído no feedback de desempenho devolvido, e a camada externa pode escolher uma configuração que "se sobressaiu por acaso"; quanto maior o grau de paralelismo, maiores o uso de memória de vídeo e o custo de escalonamento, e o paralelismo encurta o tempo de relógio de parede, não o volume total de computação. Por isso, é preciso equilibrar a precisão da avaliação interna, a amplitude da busca externa e o orçamento de hardware, em vez de simplesmente ampliar a busca.