Contesto e motivazioni chiave dell'evoluzione dei metodi

Sulla moderna base di calcolo di EvoX, il parallelismo tensorizzato e il Runtime unificato hanno giàscala di calcoloallargato notevolmente questo collo di bottiglia: popolazioni, risultati di valutazione e stati dell'algoritmo possono essere interamente eseguiti su GPU, dispositivi acceleratori o cluster distribuiti, e decine di migliaia di valutazioni candidate non richiedono più un'elaborazione seriale una per una. Una volta sbloccata la potenza di calcolo, il punto debole che limita l'efficacia dell'evoluzione si è spostato altrove —il metodo stesso con cui si generano le soluzioni candidate è ancora definito manualmente in anticipo e resta fisso durante l'esecuzione.

I limiti dell'ottimizzazione tradizionale: si occupa solo di trovare soluzioni, non partecipa al miglioramento della ricerca

Gli algoritmi di ottimizzazione tradizionali sono molto abili nel cercare soluzioni all'interno di uno spazio di ricerca dato: data una strategia di mutazione, un insieme di parametri e una struttura di vicinato, generano ripetutamente soluzioni candidate, le valutano e le selezionano. Il problema è che questo meccanismo di generazione delle candidate è una costante progettatadall'esternoe l'algoritmo non la modifica durante l'intero processo di esecuzione. In altre parole, viene cercata solo la «soluzione», mentre il «modo di generare le soluzioni» non viene cercato.

La strategia di ricerca, i parametri o il meccanismo di generazione delle candidate sono definiti manualmente in anticipo e restano fissi durante l'esecuzione.
Una volta fissato il metodo di generazione delle candidate, il sistema può solo ripetere lo schema prestabilito e difficilmente si adatta in modo estensivo al problema, all'ambiente e al feedback.
Sebbene l'algoritmo sappia trovare soluzioni, esso stesso non partecipa al miglioramento del processo di ricerca.

L'azione chiave di EvoX: spostare il livello del problema verso l'alto

L'evoluzione dei metodi trasforma il «come generare le soluzioni candidate» da scelta progettuale esterna a oggetto ricercabile ed evolvibile. L'azione centrale di EvoX non è solo ottimizzare le soluzioni candidate, ma anche ottimizzare il metodo che le genera: ad esempio, impostazioni come la strategia di mutazione, il fattore di scala F e il tasso di incrocio CR nella differential evolution possono entrare nel ciclo evolutivo ed essere costantemente adattate in base al feedback.

Il sistema quindi effettua la ricerca simultaneamente su due livelli:«la soluzione» e «il modo di generare le soluzioni». Quando la forma del problema cambia, l'ambiente si sposta o il segnale di feedback varia, anche il livello del metodo può essere riscritto di conseguenza, invece di lasciare che una strategia euristica fissa affronti da sola ogni scenario.

Nota di chiarimento

L'evoluzione dei metodi non equivale a «cambiare con un algoritmo migliore». Cambiare l'algoritmo resta comunque una scelta manuale una tantum, che una volta effettuata viene di nuovo fissata; l'evoluzione dei metodi sottolinea che questo meccanismo di generazione delle candidate è esso stesso in uno stato di continua ricerca e adattamento.

Perché questa motivazione è il fondamento dei contenuti successivi

Spiega il punto di svolta tra EvoX e un normale ottimizzatore: come il confine dell'oggetto di evoluzione continua a espandersi verso l'esterno, come l'algoritmo stesso possa essere migliorato e come il sistema possa tendere verso l'evoluzione a cascata e continua, tutto si fonda su questo «spostamento verso l'alto» di livello. La base di calcolo risolve il «se sia possibile calcolare su larga scala», mentre l'evoluzione dei metodi risolve il «se, mentre si calcola su larga scala, anche il modo di ricerca possa crescere insieme».

Diagramma architetturale di confronto tra ottimizzazione tradizionale a livello singolo ed evoluzione dei metodi

Il diagramma confronta due livelli di ricerca: l'ottimizzazione tradizionale genera, valuta e seleziona ripetutamente soluzioni solo all'interno di uno spazio di ricerca fisso, mantenendo invariate le strategie e i parametri che producono le candidate; l'evoluzione dei metodi include invece nel ciclo evolutivo anche i modi di generare le soluzioni, come la strategia di mutazione, il fattore di scala F e il tasso di incrocio CR. Il sistema quindi effettua la ricerca su due livelli — «la soluzione» e «il modo di generare le soluzioni» — potendosi adattare in modo continuo al problema e al feedback, invece di cambiare un algoritmo e poi fissarlo di nuovo.

Domanda 1

Dal punto di vista dell'evoluzione dei metodi, qual è il limite più fondamentale degli algoritmi di ottimizzazione tradizionali?

La velocità di calcolo è troppo bassa per gestire popolazioni su larga scala

Gestisce solo variabili discrete e non può affrontare problemi di ottimizzazione continua

Manca della capacità di essere eseguito su più macchine

Trova soluzioni solo all'interno dello spazio di ricerca prestabilito, e il meccanismo di generazione delle candidate è predefinito manualmente e non viene migliorato

Domanda 2

Dopo che la scala di calcolo è stata ampliata dal parallelismo tensorizzato, perché «il metodo di generazione delle candidate resta fissato manualmente» diventa un collo di bottiglia ancora più evidente?

Perché i parametri impostati manualmente non possono essere organizzati in tensori

Perché un metodo fisso può solo ripetere lo schema prestabilito e difficilmente si adatta in modo estensivo al problema, all'ambiente e al feedback

Perché i dispositivi acceleratori non riescono a supportare le operazioni di aggiornamento dei parametri

Perché maggiore è la potenza di calcolo, minore è la precisione numerica delle soluzioni

Domanda 3

A cosa si riferisce esattamente EvoX con «spingere il problema un livello più in alto»?

Non solo ottimizzare le soluzioni candidate, ma includere nell'oggetto di evoluzione anche il metodo che le genera (come la strategia di mutazione e le impostazioni dei parametri)

Convertire uniformemente i vincoli in termini di penalità

Riscrivere un problema a obiettivo singolo come problema multi-obiettivo

Affidare lo stesso problema di ottimizzazione a hardware più potente

Domanda 4

Nella differential evolution, quale dei seguenti insiemi di elementi viene considerato oggetto di evoluzione dall'evoluzione dei metodi?

Il valore della funzione obiettivo nel punto ottimo

Il modello della macchina utilizzata e la larghezza di banda della rete

La distribuzione delle etichette del dataset di addestramento

Strategia di mutazione, fattore di scala F e tasso di incrocio CR

Domanda 5

Qual è la base che la motivazione dell'evoluzione dei metodi fornisce ai contenuti successivi?

Serve solo ad aumentare la velocità di calcolo di una singola valutazione candidata

Serve solo all'addestramento dei pesi delle reti neurali

Serve solo alla messa a punto statica dei parametri, indipendentemente dalla struttura dell'algoritmo

L'espansione del confine dell'oggetto di evoluzione, il miglioramento dell'algoritmo stesso e l'evoluzione continua a livello di sistema

Studio di caso: uno scheduler basato sulla differential evolution per le rotte di consegna urbana

Leggi il seguente scenario e rispondi alle due domande successive.

Un team logistico utilizza la differential evolution per ottimizzare le rotte di consegna urbana. Al momento del lancio, gli ingegneri hanno testato offline diverse configurazioni, scegliendo infine di fissare una strategia di mutazione, con fattore di scala F impostato a 0.5 e tasso di incrocio CR a 0.9, senza più modificarli nel lungo periodo. Il sistema gira su una base accelerata a parallelismo tensorizzato e può completare oltre un milione di valutazioni di rotte candidate al giorno. Sei mesi dopo, la città ha introdotto nuove zone a traffico limitato e la struttura degli ordini è passata da «pochi lotti, molti punti» a «molti lotti, pochi punti»: il team ha notato un continuo peggioramento della qualità delle soluzioni, ma ogni volta che occorre modificare i parametri bisogna rifare tutto il test offline, con tempi di risposta nell'ordine delle settimane.

1. Spiega, dal punto di vista dell'«evoluzione dei metodi», qual è il problema nell'approccio attuale del team e indica quali oggetti entrerebbero nello spazio di ricerca se si introducesse l'evoluzione dei metodi.

Risposta:

Il problema:Il loro processo evolutivo effettua la ricerca solo al livello delle «rotte candidate», mentre il meccanismo che determina «come generare le rotte candidate» è predefinito manualmente e fissato nel lungo periodo (strategia di mutazione fissa, F=0.5, CR=0.9). Questo è esattamente il limite dell'ottimizzazione tradizionale — l'algoritmo sa trovare soluzioni, ma non partecipa al miglioramento del processo di ricerca. Quando cambiano le restrizioni di traffico urbano e la struttura degli ordini si ribalta, lo schema fisso può solo ripetere il modo di ricerca prestabilito: la qualità delle soluzioni peggiora e ogni correzione richiede di rifare il test offline, con tempi di risposta nell'ordine delle settimane.

Gli oggetti che entrano nello spazio di ricerca:La scelta della strategia di mutazione nella differential evolution, il fattore di scala F, il tasso di incrocio CR, nonché le combinazioni di parametri e le regole di pianificazione delle strategie a essi correlate — ovvero gli «elementi del metodo di generazione delle soluzioni candidate» — passano tutti da costanti a oggetti ricercabili ed evolvibili, che possono essere costantemente adattati tramite il ritorno dei risultati di valutazione.

2. Tenendo conto della base di calcolo di questa lezione, spiega perché in questo scenario i benefici dell'introduzione dell'evoluzione dei metodi sono più evidenti e fornisci un modo ragionevole per implementarla.

Risposta:

Perché in questo caso i benefici sono più evidenti:Il team ha già organizzato popolazioni, valutazioni e stati dell'algoritmo in tensori ed esegue in batch su dispositivi acceleratori sotto la pianificazione del Runtime, completando oltre un milione di valutazioni candidate al giorno. Questo indica che il collo di bottiglia del «non riuscire a calcolare» è stato in gran parte superato, e il punto debole che resta è proprio «il modo di ricerca fissato». Dopo aver incluso nell'evoluzione anche il livello del metodo, il costo aggiuntivo della ricerca sul metodo può condividere la stessa capacità di parallelismo in batch della ricerca sulle soluzioni: il costo marginale è quindi controllabile, e il beneficio è che il sistema estende in modo adattivo il modo di ricerca quando problema e ambiente cambiano, invece di dover rifare manualmente i test con cadenza settimanale.

Un modo ragionevole per implementarla:Trattare la strategia di mutazione, F e CR come stati evolvibili aggiunti al tensore della popolazione, facendoli entrare insieme agli altri stati nel grafo di calcolo in batch; restituire i risultati di valutazione come segnale di feedback al livello del metodo, aggiornando con un certo ritmo la strategia e la distribuzione dei parametri; mantenere al contempo la configurazione baseline offline come riferimento, valutando il beneficio netto dell'evoluzione dei metodi in termini di qualità delle soluzioni e tempo di risposta all'aggiornamento a parità di budget di calcolo.