Le goulot d'étranglement des boucles CPU séquentielles classiques

Le processus évolutif repose sur la diversité de la population, et cette diversité implique une multiplication de la taille de la population et du nombre d'évaluations. Lorsque le nombre d'évaluations de candidats atteint l'ordre de plusieurs dizaines de milliers,la boucle CPU séquentielle classiquedevient le segment le plus étroit de toute la chaîne : elle ne traite qu'un seul individu à la fois, laissant la capacité parallèle du matériel presque entièrement inexploitée.

Un à la fois : le modèle d'exécution de la boucle séquentielle

L'implémentation la plus simple consiste à traiter toute la population comme une liste et à extraire les individus un par un dans une boucle : sélection de l'individu → décodage en paramètres concrets → appel de la fonction d'évaluation → écriture de la fitness. Les itérations adjacentes ne peuvent presque jamais se chevaucher : tant que le résultat d'évaluation n'est pas revenu, l'écriture ne peut pas avancer ; tant que l'écriture n'est pas terminée, l'individu suivant n'a nulle part où déposer son résultat. Résultat : les unités parallèles comme les multicœurs, le SIMD et le GPU restent inactives la plupart du temps, se contentant de regarder un seul individu parcourir la chaîne.

D'où viennent réellement les surcoûts

Nombre d'évaluations à croissance linéaire: le nombre total d'évaluations est approximativement égal à la taille de la population × le nombre de générations ; lorsqu'il atteint l'ordre de 10⁵, le temps réel d'exécution séquentielle croît de façon quasi linéaire.
Exécution individuelle au niveau de l'interpréteur: les boucles individuelles, les vérifications de limites et la répartition des types entraînent des surcoûts constants fixes mais élevés.
Accès mémoire non contigus et transferts de données: les individus extraits un par un sont souvent non contigus en mémoire, le taux de succès du cache est faible et les coûts de transfert sont payés à répétition.
Synchronisation et ordonnancement: pour atteindre l'individu suivant, le flux d'exécution doit sans cesse s'interrompre puis reprendre.

Convertir l'échelle en temps

Prenons l'exemple d'une population de 1000 individus sur 100 générations, soit environ 100 000 évaluations de candidats. Si une évaluation dure en moyenne 1 ms, la seule phase d'évaluation en séquentiel prend environ 100 secondes, sans compter les coûts de calcul des opérateurs et d'ordonnancement ; si, pour maintenir la diversité, on fait passer le nombre de redémarrages de 1 à 5, le coût grimpe de façon quasi linéaire jusqu'à environ 500 secondes. À charge de travail égale, si l'on organise les traitements par lots et qu'on les confie à du matériel parallèle, le temps réel dépend principalement du nombre de lots et non du nombre d'individus.

Quand ce goulot d'étranglement se réduit

Les conditions aux limites sont tout aussi importantes : lorsque l'évaluation individuelle est extrêmement bon marché (de l'ordre de la microseconde) ou que la population est très petite (moins de quelques centaines d'individus), les coûts d'ordonnancement et de mémoire peuvent dépasser les coûts de calcul, l'écart entre séquentiel et parallèle se réduit nettement, le gain marginal de la tensorisation diminue et le goulot d'étranglement se déplace vers la granularité de l'ordonnancement et la bande passante mémoire. Il faut donc évaluer conjointement le coût d'évaluation et l'échelle avant de décider s'il vaut la peine de refondre le modèle d'exécution.

Un goulot d'étranglement structurel, pas un défaut de code

Le goulot d'étranglement des boucles CPU séquentielles relève du modèle d'exécution : une optimisation ponctuelle du code ne peut pas l'éliminer. Pour le résoudre réellement, il faut refondre le traitement individuel en traitement par lots — traitement par lots, tensorisation et ordonnancement parallèle — ce qui constitue également la motivation directe de la conception ultérieure du graphe de calcul tensorisé.

Comparaison des temps d'exécution séquentiel et parallèle

Avec une population de 1000 individus sur 100 générations, on obtient environ 100 000 évaluations de candidats ; avec une évaluation de 1 ms, la seule phase d'évaluation en séquentiel nécessite environ 100 secondes, et avec 5 redémarrages, le temps croît de façon quasi linéaire jusqu'à environ 500 secondes. En organisant les traitements par lots et en les confiant à du matériel parallèle, le temps réel dépend principalement du nombre de lots et non du nombre d'individus.

Question 1

Dans le calcul évolutionnaire classique, l'évaluation individuelle des candidats dans une boucle CPU séquentielle présente une limitation majeure de son modèle d'exécution. Laquelle ?

Impossibilité d'effectuer toute forme d'écriture ou de mise à jour sur la population

Les itérations adjacentes peuvent difficilement se chevaucher, les unités parallèles comme les multicœurs, le SIMD et le GPU restent inactives la plupart du temps

Traitement limité aux représentations d'individus en codage binaire

Impossibilité de définir une fonction de fitness, donc d'évaluer un quelconque candidat

Question 2

Population de 1000 individus, 100 générations, une évaluation de candidat dure en moyenne 1 ms. Quel est le temps réel approximatif de la seule phase d'évaluation en exécution séquentielle ?

Environ 100 secondes

Environ 1 seconde

Environ 10 secondes

Environ 10 000 secondes

Question 3

Lequel des éléments suivants n'amplifie pas les surcoûts constants de la boucle séquentielle ?

Boucles individuelles au niveau de l'interpréteur

Vérifications de limites et répartition des types individu par individu

Ordonnancement par lots tensorisé

Accès mémoire non contigus et transferts de données fréquents

Question 4

Dans le modèle d'exécution parallèle par lots, de quoi dépend principalement le temps réel pour accomplir une charge de travail totale équivalente (par exemple 10⁵ évaluations) ?

Du nombre de lots et de la durée de chaque lot

Du nombre total de candidats

De la longueur du codage de la population

De la valeur de la graine aléatoire

Question 5

Dans lequel des cas suivants la qualification de la boucle séquentielle comme goulot d'étranglement structurel est-elle le plus susceptible de ne pas s'appliquer ?

Lorsque plusieurs redémarrages indépendants sont nécessaires pour maintenir la diversité

Lorsque l'évaluation individuelle descend à l'ordre de la microseconde et que la population ne compte que quelques centaines d'individus

Lorsque la fonction d'évaluation inclut une simulation physique coûteuse de haute précision

Lorsque l'évaluation individuelle dure de l'ordre de la milliseconde et que la population atteint plusieurs dizaines de milliers d'individus

Étude de cas : le choix du modèle d'exécution face à cent mille évaluations

Lisez le scénario et répondez aux questions en vous appuyant sur le goulot d'étranglement des boucles séquentielles.

Une équipe optimise un ensemble de paramètres d'ingénierie par algorithme évolutionnaire : population de 1000 individus, 100 générations, et chaque évaluation de candidat nécessite l'appel à une simulation d'une durée moyenne de 1 ms. L'implémentation actuelle repose sur une boucle CPU séquentielle classique qui exécute le décodage, l'évaluation et l'écriture un par un. L'équipe souhaite, sans dégrader la qualité des solutions, réduire chaque cycle d'expérimentation de plus de dix minutes à quelques minutes ; parallèlement, pour maintenir la diversité de la population, elle prévoit de porter le nombre de redémarrages indépendants de 1 à 5.

Estimez le temps réel de la seule phase d'évaluation dans l'implémentation séquentielle actuelle, puis expliquez l'évolution lorsque le nombre de redémarrages passe de 1 à 5. Déduisez-en où doit porter l'effort d'optimisation.

Réponse :
Le nombre d'évaluations de candidats pour une exécution est d'environ 1000 × 100 = 10⁵ fois ; multiplié par 1 ms, cela donne environ 100 secondes ; avec 5 redémarrages, on obtient environ 5 × 10⁵ évaluations, soit environ 500 secondes, le temps réel augmentant de façon quasi linéaire. Cela montre que les ajustements constants au sein des opérateurs apportent un gain limité ; l'effort d'optimisation doit porter sur le modèle d'exécution — traitement par lots, tensorisation et ordonnancement parallèle — afin que le temps réel dépende du nombre de lots et non du nombre d'individus.

Si l'équipe adopte un modèle d'exécution parallèle par lots, quelles conditions aux limites faut-il encore considérer pour juger si cette refonte en vaut la peine ? Donnez au moins deux points et expliquez leur impact sur les gains.

Réponse :
Premièrement, le coût d'évaluation et l'échelle : si l'évaluation individuelle descend à l'ordre de la microseconde, ou si la population se réduit à moins de quelques centaines d'individus, les coûts d'ordonnancement et de transfert mémoire peuvent dépasser les coûts de calcul, et le gain du parallélisme diminue. Deuxièmement, les contraintes sur le nombre et la taille des lots : la taille des lots est limitée par la mémoire GPU et la bande passante mémoire ainsi que par le temps de calcul d'un lot ; des lots trop grands augmentent la durée d'un lot et les coûts de synchronisation. Troisièmement, la disposition des données et les accès mémoire : si les candidats ne peuvent pas être organisés en tenseurs contigus et vectorisables, le traitement par lots reste pénalisé par des accès mémoire non contigus. En somme, les gains d'une refonte du modèle d'exécution ne sont significatifs que lorsque le nombre d'évaluations et le coût d'une évaluation individuelle sont tous deux suffisamment élevés.