MetaDE e AutoPSO: l'architettura a due livelli dell'evoluzione dei metodi

Evoluzione dei metodi(Meta-Evolution) eleva il «metodo che genera i candidati» stesso a oggetto da ottimizzare: l'algoritmo non si limita più a trovare soluzioni, ma migliora anche «come trova le soluzioni».MetaDE e AutoPSO sono due realizzazioni rappresentative di questa idea e condividono lo stesso scheletro:l'architettura a due livelli, interno ed esterno: il livello esterno cerca nellospazio degli algoritmi, mentre il livello interno risolve con gli algoritmi candidati ilcompito obiettivo; le prestazioni del livello interno vengono restituite come segnale di fitness al livello esterno, guidando il continuo miglioramento dell'algoritmo stesso in un ciclo chiuso.

L'astrazione generale dell'architettura a due livelli

• Livello esterno (ricerca nello spazio degli algoritmi): cerca iperparametri, strategie e combinazioni di componenti, cioè la «definizione dell'algoritmo». Il suo spazio di ricerca non è lo spazio delle soluzioni, ma lo spazio delle configurazioni e strutture degli algoritmi.
• Livello interno (risoluzione del compito obiettivo): utilizza gli algoritmi candidati inviati dal livello esterno per risolvere effettivamente il compito, ottenendo prestazioni misurabili che costituiscono il criterio di valutazione di tale algoritmo candidato.
• Ciclo del segnale: le prestazioni del livello interno vengono aggregate in fitness e restituite al livello esterno, che su questa base elimina le configurazioni scadenti, conserva e muta quelle valide. Una volta instaurato il ciclo chiuso, la risoluzione e il miglioramento del modo di risolvere avvengono simultaneamente.

MetaDE: affida la configurazione di DE all'evoluzione del livello esterno

MetaDE mantiene l'evoluzione differenziale come risolutore del livello interno e affida la configurazione di DE stessa alla ricerca del livello esterno: la scelta della strategia di mutazione, il tasso di crossover, il fattore di scala e così via non sono più costanti fisse, ma oggetti evolutivi che si adattano automaticamente al problema e alla fase di ottimizzazione. Risponde alla domanda «come impostare questa configurazione nella fase attuale del compito» e appartiene all'evoluzione dei metodi a livello di configurazione.

AutoPSO: dalla modifica dei parametri alla modifica della struttura dell'algoritmo

AutoPSO considera i parametri chiave e i meccanismi di apprendimento del PSO comecomponenti componibili: le diverse combinazioni di peso d'inerzia, fattori di apprendimento e meccanismi di apprendimento individuale e di gruppo vengono automaticamente cercate e composte dal livello esterno per creare varianti PSO adatte a problemi diversi. Rispetto alla semplice regolazione dei parametri, trasforma la «scelta dell'algoritmo» nella «ricerca della struttura dell'algoritmo», compiendo il salto dall'adattamento dei parametri all'autogenerazione dei meccanismi. I due sono complementari: MetaDE si concentra sull'ottimizzazione automatica a livello di configurazione e iperparametri, AutoPSO sulla composizione automatica a livello di struttura e componenti, coprendo insieme l'intero spettro evolutivo dall'adattamento dei parametri all'autogenerazione dei meccanismi.

Struttura dei costi e dipendenze ingegneristiche

Il costo chiave dell'ottimizzazione a due livelli risiede nell'effetto moltiplicativo: ogni valutazione di un algoritmo candidato da parte del livello esterno richiede spesso più esecuzioni del livello interno (valutazioni ripetute dovute alla casualità, verifica congiunta multi-compito, ecc.), ampliando notevolmente il budget computazionale. È quindi necessario adottarel'allocazione del budget,la valutazione approssimata,l'arresto anticipatoola parallelizzazionee altri compromessi. A livello ingegneristico, un'esecuzione efficiente dipende dalla parallelizzazione tensoriale, dalla schedulazione del Runtime e dalla componibilità degli algoritmi; in caso contrario la portata della ricerca del livello esterno verrebbe sopraffatta dalle valutazioni ripetute del livello interno.