MetaDE: l'architettura annidata degli algoritmi che ottimizzano algoritmi

Nella lezione precedente, il sistema evolutivo accumulava capacità grazie al ciclo chiuso "generazione — valutazione — selezione — ereditarietà". In questa lezione spingiamo questo principio un livello più a fondo: non si tratta solo di far risolvere problemi agli algoritmi, ma di far migliorare gli algoritmi da altri algoritmi.MetaDE è proprio un'architettura evolutiva annidata di questo tipo: scompone l'evoluzione differenziale (DE) in due livelli, uno interno e uno esterno, rendendo l'"algoritmo che ottimizza algoritmi" un processo di calcolo effettivamente eseguibile.

1. La divisione dei compiti tra i due livelli: chi risolve, chi evolve

MetaDE organizza la DE su due livelli, interno ed esterno, che operano su oggetti completamente diversi:

DE interna (livello del compito): è orientata al compito di ottimizzazione reale, mantiene una popolazione di soluzioni candidate, esegue ripetutamente mutazione, crossover e selezione, avvicinandosi progressivamente a soluzioni di alta qualità per il compito. Risponde alla domanda "come sta andando la risoluzione di questo problema".
DE esterna (livello meta): è orientata all'algoritmo stesso; ogni individuo della popolazione non è una soluzione al compito, ma un insieme completo di configurazioni di "strategia di mutazione + parametri", ad esempio quale tipo di mutazione adottare e quali valori assegnare al fattore di scala e alla probabilità di crossover. Risponde alla domanda "questa configurazione dell'algoritmo è efficace".

Il livello esterno, quindi, non ottimizza direttamente le variabili del compito: queste restano sempre in carico al livello interno. Ciò che il livello esterno modifica è soltanto il "manuale operativo" del livello interno.

2. Il ciclo chiuso di interazione: invio delle configurazioni e restituzione delle prestazioni

I due livelli sono accoppiati da un canale bidirezionale che forma un ciclo chiuso: il livello esterno produce prima una configurazione dell'algoritmo e la invia (→) al livello interno; il livello interno esegue il compito secondo tale configurazione e, al termine, restituisce le prestazioni ottenute (→) al livello esterno; su questa base il livello esterno conserva e ricombina le configurazioni migliori, generando la configurazione del ciclo successivo. L'intero processo si può riassumere così: configurazione esterna → risoluzione interna → prestazioni sul compito → aggiornamento esterno, in un ciclo continuo.

Questo ciclo chiuso introduce una proprietà chiave: la strategia di mutazione e i parametri dell'algoritmo interno non vengono più impostati una volta per tutte dall'uomo e mantenuti fissi, ma vengono continuamente riscritti dalla ricerca del livello esterno; l'algoritmo acquisisce così un canale di auto-miglioramento.

3. Il prerequisito per l'esecuzione: parallelismo e compromesso sui costi

La struttura annidata non è priva di costi. Ogni valutazione del livello esterno richiede di eseguire completamente una configurazione sul compito, amplificando notevolmente il costo di valutazione; più grande è la popolazione esterna, maggiore è il costo complessivo. È proprio per questo che MetaDE si basa sul parallelismo delle GPU: più configurazioni interne possono essere valutate simultaneamente, il tempo necessario per una singola iterazione esterna viene ridotto in modo significativo, e la meta-evoluzione annidata diventa ingegneristicamente eseguibile. Al contrario, se le risorse di parallelismo disponibili sono insufficienti, ridurre la scala del livello esterno o abbassare la precisione di valutazione interna è spesso più realistico che ampliare ciecamente la ricerca.

Equivoco comune

Identificare MetaDE con la "taratura manuale dei parametri" non è corretto. La taratura manuale è un tentativo per prova ed errore, una tantum, compiuto dall'uomo al di fuori del ciclo; MetaDE invece inserisce la configurazione stessa nel ciclo evolutivo: le configurazioni vengono generate, valutate e ricombinate ripetutamente, e l'oggetto della ricerca è la combinazione "strategia di mutazione + parametri", non soltanto alcuni valori numerici.

Architettura evolutiva annidata di MetaDE

L'illustrazione mostra la struttura a due livelli, interno ed esterno, di MetaDE: gli individui della popolazione del livello meta esterno sono insiemi completi di strategie di mutazione e configurazioni di parametri, e hanno il compito di evolvere le configurazioni dell'algoritmo; il livello del compito interno mantiene la popolazione di soluzioni candidate secondo le configurazioni inviate dal livello esterno e risolve il compito di ottimizzazione reale. I due livelli sono accoppiati tramite un canale bidirezionale: il livello esterno invia le configurazioni, il livello interno restituisce le prestazioni sul compito, e su questa base il livello esterno conserva e ricombina le configurazioni migliori, formando un ciclo chiuso di auto-miglioramento dell'algoritmo.

Domanda 1

Nella struttura annidata di MetaDE, qual è il compito diretto della DE interna?

Iterare le soluzioni candidate sul compito di ottimizzazione specifico e fornirne le prestazioni

Evolvere la strategia di mutazione e i parametri usati dall'algoritmo interno

Determinare la dimensione della popolazione esterna e il numero di dispositivi paralleli disponibili

Valutare la qualità del processo di ricerca del livello esterno

Domanda 2

Che cosa rappresenta ogni individuo nella popolazione della DE esterna?

Una funzione obiettivo fissa e invariabile

Un insieme di configurazioni di strategia di mutazione e parametri per la DE interna

La registrazione del tempo impiegato da una valutazione del compito interna

Una soluzione candidata del compito da risolvere

Domanda 3

Nel ciclo chiuso di interazione tra livello interno ed esterno, qual è l'informazione chiave che dal livello interno ritorna a quello esterno?

L'impostazione della probabilità di crossover della popolazione esterna

I valori iniziali della configurazione dell'algoritmo interno

Il feedback sulle prestazioni ottenuto dal livello interno dopo l'esecuzione sul compito

L'occupazione della memoria dei dispositivi paralleli

Domanda 4

Perché il parallelismo su GPU è particolarmente cruciale per l'applicazione pratica di MetaDE?

Perché solo le GPU possono eseguire la mutazione e la selezione dell'evoluzione differenziale

Perché la valutazione annidata moltiplica i costi di calcolo e il parallelismo riduce i tempi di ricerca del livello meta

Perché il parallelismo garantisce che il livello esterno trovi la configurazione ottimale globale

Perché il parallelismo elimina la necessità di valutare le configurazioni interne

Domanda 5

Quale delle seguenti affermazioni descrive accuratamente la differenza tra MetaDE e la "taratura manuale dei parametri" o una ricerca a griglia una tantum?

Sono del tutto equivalenti, cambia solo il nome

In MetaDE il livello esterno ottimizza direttamente le variabili del compito e il livello interno si limita a registrare i risultati

MetaDE ricerca solo parametri numerici e non riguarda le strategie di mutazione

MetaDE inserisce le configurazioni dell'algoritmo nel ciclo evolutivo: le configurazioni vengono continuamente generate, valutate e ricombinate

Caso di studio: usare MetaDE per evolvere il risolutore interno

Leggi lo scenario e rispondi alle due domande seguenti.

Un team deve trovare soluzioni di alta qualità per un compito di ottimizzazione dei percorsi logistici. Anziché impostare manualmente la strategia di mutazione e i parametri dell'evoluzione differenziale, adotta MetaDE: la DE esterna mantiene diverse configurazioni di "strategia di mutazione + parametri", mentre la DE interna esegue il compito secondo la configurazione assegnata e restituisce la qualità del percorso e il tempo impiegato. Il team dispone di un solo server GPU a 8 schede e il budget per una singola valutazione completa è limitato.

1. Indica in questo scenario quali elementi appartengono allo spazio di ricerca del livello esterno e quali al processo di risoluzione del livello interno; spiega inoltre il valore di inserire la strategia di mutazione nell'evoluzione del livello esterno invece di fissarla manualmente.

Risposta:
Lo spazio di ricerca del livello esterno è "l'insieme delle configurazioni dell'algoritmo", cioè quale strategia di mutazione adottare e i corrispondenti valori dei parametri (come fattore di scala e probabilità di crossover); attorno a queste configurazioni il livello esterno effettua selezione e ricombinazione. Il processo di risoluzione del livello interno consiste nel mantenere soluzioni candidate su un compito di ottimizzazione dei percorsi fisso, eseguendo ripetutamente mutazione, crossover e selezione e restituendo le prestazioni sul compito, come la qualità della soluzione. Il valore di inserire la strategia di mutazione nell'evoluzione del livello esterno sta nel fatto che l'oggetto della ricerca si estende da "alcuni valori numerici" alla "combinazione di strategie e parametri". Quando la struttura del compito varia, o quando la ricerca si trova in fasi diverse (nella fase iniziale è più necessaria l'esplorazione, in quella finale la convergenza), la strategia adeguata cambia essa stessa; affidandola all'evoluzione del livello esterno, questo cambio di strategia avviene automaticamente, evitando i risultati subottimali e i tentativi per prova ed errore causati dal fissare manualmente una singola strategia nel lungo periodo.

2. La valutazione annidata aumenta notevolmente il tempo totale. Combinando il parallelismo su GPU e il controllo del budget di valutazione, indica le soluzioni concrete per rendere applicabile questa architettura e illustra i relativi compromessi.

Risposta:
Soluzioni concrete: (1) Valutazione batch in parallelo — distribuire simultaneamente più configurazioni di un batch esterno su più GPU per eseguire la DE interna, trasformando il tempo effettivo (wall-clock) di una singola iterazione esterna da "somma seriale" a "massimo in parallelo", riducendo in modo significativo i tempi di ricerca del livello meta; (2) Valutazione a livelli — il livello interno esegue dapprima una valutazione rapida con una popolazione più piccola o meno iterazioni, e solo per le poche configurazioni più promettenti si procede a una valutazione completa, realizzando una selezione a due livelli dal grossolano al fine; (3) Limitazione dell'ambito di ricerca — limitare la dimensione della popolazione esterna e il numero di iterazioni, e memorizzare in cache e riutilizzare le configurazioni già valutate per evitare calcoli ripetuti. Compromessi: quanto più grossolana è la valutazione interna, tanto maggiore è il rumore nel feedback sulle prestazioni restituito, e il livello esterno potrebbe selezionare configurazioni che "dominano per caso"; quanto maggiore è il grado di parallelismo, tanto maggiori sono i costi di memoria e di scheduling, e il parallelismo riduce il tempo effettivo (wall-clock) ma non il volume totale di calcolo. Occorre quindi trovare un equilibrio tra precisione della valutazione interna, ampiezza della ricerca esterna e budget hardware, senza ampliare ciecamente la ricerca.