MetaDE e AutoPSO: arquitetura de dois níveis para a evolução de métodos

Evolução de métodos(Meta-Evolution) eleva o próprio «método que gera candidatos» à condição de objeto a ser otimizado: o algoritmo já não se limita a encontrar soluções, mas também aprimora «a forma como encontra soluções».MetaDE e AutoPSO são duas implementações representativas desta ideia e partilham a mesma estrutura —uma arquitetura de dois níveis, interno e externo: o nível externo pesquisao espaço de algoritmos, e o nível interno utiliza algoritmos candidatos para resolvera tarefa-alvo, enquanto o desempenho do nível interno é devolvido ao nível externo como sinal de aptidão, impulsionando a melhoria contínua do próprio algoritmo e fechando o ciclo.

Abstração geral da arquitetura de dois níveis

Nível externo (pesquisa no espaço de algoritmos): pesquisa hiperparâmetros, estratégias e combinações de componentes que constituem a «definição do algoritmo». O seu espaço de pesquisa não é o espaço de soluções, mas sim o espaço das configurações e estruturas algorítmicas.
Nível interno (resolução da tarefa-alvo): utiliza os algoritmos candidatos enviados pelo nível externo para resolver efetivamente a tarefa, obtendo um desempenho mensurável que serve de base para avaliar esse algoritmo candidato.
Circuito de sinal: o desempenho do nível interno é agregado em aptidão e devolvido ao nível externo, que assim elimina configurações fracas e preserva e muta as boas. Uma vez estabelecido o ciclo, resolver e melhorar a forma de resolver acontecem ao mesmo tempo.

MetaDE: entregar a configuração do DE à evolução do nível externo

O MetaDE mantém a evolução diferencial como solucionador do nível interno e entrega a configuração do próprio DE à pesquisa do nível externo: a escolha da estratégia de mutação, a taxa de cruzamento e o fator de escala deixam de ser constantes fixas e passam a ser objetos evolutivos ajustados de forma adaptativa conforme o problema e a fase de otimização. Responde à questão «como definir esta configuração na fase atual da tarefa», tratando-se de evolução de métodos ao nível da configuração.

AutoPSO: de alterar parâmetros a alterar a estrutura do algoritmo

O AutoPSO trata os parâmetros centrais e os mecanismos de aprendizagem do PSO comocomponentes combináveis— as diferentes combinações de peso de inércia, fatores de aprendizagem e mecanismos de aprendizagem individual e coletiva são pesquisadas e combinadas automaticamente pelo nível externo para produzir variantes de PSO adequadas a diferentes problemas. Em vez de apenas ajustar parâmetros, transforma «escolher um algoritmo» em «pesquisar a estrutura do algoritmo», dando o salto da adaptação de parâmetros para a autogeração de mecanismos. Ambos são complementares: o MetaDE incide na otimização automática ao nível da configuração e dos hiperparâmetros, enquanto o AutoPSO incide na combinação automática ao nível da estrutura e dos componentes, cobrindo em conjunto o espetro evolutivo que vai da adaptação de parâmetros à autogeração de mecanismos.

Estrutura de custos e dependências de engenharia

O custo essencial da otimização de dois níveis reside no efeito multiplicativo: cada avaliação de um algoritmo candidato pelo nível externo exige, frequentemente, várias execuções internas (avaliações repetidas devido à aleatoriedade, validação conjunta de múltiplas tarefas, etc.), ampliando significativamente o orçamento computacional. Por isso, é indispensável recorrer aalocação de orçamento,avaliação aproximada,paragem antecipadaouparalelizaçãoe outros compromissos. Do ponto de vista de engenharia, a execução eficiente depende da paralelização tensorial, do escalonamento em Runtime e da composabilidade dos algoritmos; caso contrário, a escala da pesquisa do nível externo será sobrecarregada pelas avaliações internas repetidas.

Mudança de mentalidade

Esta arquitetura desloca o papel do investigador de «conceber manualmente um único algoritmo» para «conceber o espaço onde os algoritmos podem evoluir e o mecanismo de avaliação»: o que se entrega já não é um algoritmo fixo, mas um conjunto de espaços de pesquisa e regras de retorno que permitem ao algoritmo melhorar-se continuamente.

Arquitetura de dois níveis do MetaDE

A figura ilustra o ciclo de dois níveis do MetaDE: o nível externo pesquisa, no espaço de configurações de algoritmos, a estratégia de mutação, a taxa de cruzamento e o fator de escala; o nível interno utiliza essas configurações para executar a evolução diferencial e resolver a tarefa-alvo, agregando depois o desempenho interno em aptidão e devolvendo-o ao nível externo, impulsionando a eliminação, preservação e mutação de configurações.

Pergunta 1

Na arquitetura de dois níveis representada pelo MetaDE e pelo AutoPSO, qual é o objeto direto da pesquisa do nível externo?

A distribuição de amostragem dos dados de treino

O conjunto de soluções candidatas da tarefa-alvo

A topologia física do cluster de GPUs

A configuração, a estrutura e a combinação de componentes do próprio algoritmo

Pergunta 2

Que grupo de objetos é principalmente evoluído pelo nível externo do MetaDE?

O agendamento da taxa de aprendizagem da descida de gradiente

A fórmula de atualização da velocidade e os fatores de aprendizagem do enxame de partículas

A estratégia de mutação, a taxa de cruzamento e o fator de escala da evolução diferencial

O número de camadas e de cabeças de atenção da rede neuronal

Pergunta 3

Quanto à divisão de tarefas entre o AutoPSO e o MetaDE, qual das descrições seguintes é a mais precisa?

O AutoPSO foca a combinação automática de parâmetros e mecanismos de aprendizagem, transformando «escolher um algoritmo» em «pesquisar a estrutura do algoritmo»; o MetaDE foca a evolução ao nível da configuração

O AutoPSO apenas ajusta hiperparâmetros e o MetaDE apenas altera os dados de treino

O AutoPSO funciona sem avaliação do nível interno

Ambos são totalmente equivalentes e diferem apenas na linguagem de implementação

Pergunta 4

Quanto à estrutura de custos da otimização de dois níveis, qual das afirmações seguintes está correta?

Basta usar GPUs para eliminar completamente o custo adicional

Cada avaliação de um algoritmo candidato pelo nível externo exige, frequentemente, várias execuções internas, ampliando significativamente o orçamento, o que requer alocação de orçamento, avaliação aproximada ou paragem antecipada

Avaliar um algoritmo candidato no nível externo requer apenas uma execução interna, com custo equivalente ao de um só nível

As execuções do nível interno não consomem orçamento computacional; só o nível externo consome

Pergunta 5

Após adotar a arquitetura de dois níveis de evolução de métodos, qual é a mudança de mentalidade no papel do investigador?

Abandonar completamente o design de algoritmos e depender apenas de pesquisa aleatória

Passar do design manual de um único algoritmo para o design do espaço onde os algoritmos podem evoluir e do mecanismo de avaliação

Passar de escrever código para apenas fazer anotação de dados

Passar da modelação para focar-se apenas na escolha de hardware

Caso: construir um serviço de evolução de dois níveis para tarefas em constante mudança

Leia o cenário e responda a duas perguntas, explicando o seu design e os seus compromissos.

Uma equipa mantém um serviço de resolução de otimização combinatória em execução num cluster de GPUs, cujos tipos de tarefa mudam a cada trimestre. Anteriormente, os engenheiros fixavam manualmente as configurações da evolução diferencial e do enxame de partículas, mas, após alterações na distribuição das tarefas, essas configurações fixas tornaram-se rapidamente ineficazes. A equipa planeia introduzir a evolução de métodos: o nível externo pesquisa o espaço de algoritmos; o nível interno usa algoritmos candidatos para resolver a tarefa do dia; e planeia apoiar-se na paralelização tensorial e no escalonamento em Runtime. O gestor de projeto receia perder o controlo do orçamento de avaliação e pede primeiro uma descrição da arquitetura e um plano de controlo de custos.

1. Explique o que cada um dos níveis, interno e externo, é responsável por fazer neste sistema e como circula o sinal entre eles.

Resposta:
O nível externo é responsável por pesquisar algoritmos candidatos no espaço de algoritmos: pode evoluir a estratégia de mutação, a taxa de cruzamento e o fator de escala do DE (caminho MetaDE), ou combinar automaticamente componentes do PSO, como o peso de inércia, os fatores de aprendizagem e os mecanismos de aprendizagem (caminho AutoPSO). O nível interno executa e avalia cada algoritmo candidato na tarefa-alvo do dia, produzindo um desempenho comparável; o desempenho interno é agregado em aptidão e devolvido ao nível externo, que assim elimina candidatos fracos e preserva e muta as configurações de qualidade, iterando continuamente. Forma-se assim o ciclo «o nível externo pesquisa o espaço de algoritmos, o nível interno resolve a tarefa-alvo e o retorno de desempenho impulsiona a melhoria».

2. Perante a pressão orçamental de «uma avaliação do nível externo exigir várias execuções internas», apresente pelo menos duas medidas de compromisso viáveis e explique o custo ou risco de cada uma.

Resposta:
As medidas possíveis e os respetivos custos são: ① alocação de orçamento — definir quotas de cálculo separadas para os níveis externo e interno e limitar o número de repetições internas, com o custo de aumentar a variância da avaliação e o risco de má escolha; ② avaliação aproximada — estimar a aptidão com subconjuntos de dados ou execuções curtas, com o custo de um sinal ruidoso e do risco de subestimar o melhor candidato; ③ paragem antecipada — terminar antecipadamente as execuções internas de candidatos manifestamente fracos, com o custo de poder eliminar prematuramente configurações de arranque lento que renderiam bem mais tarde; ④ paralelização tensorial e escalonamento em Runtime — executar internamente em lote e em paralelo, o que reduz significativamente o tempo de relógio de parede, mas não diminui o volume total de cálculo e está limitado pela memória da GPU e pelo custo de escalonamento. A resposta deve explicar a correspondência entre cada medida e o seu custo ou risco e refletir a estimativa multiplicativa «escala da pesquisa do nível externo × número de execuções internas por avaliação».