Dans le monde réel, les problèmes d'optimisationont rarement un seul objectif, et rarement une seule réponse. Un même système doit souvent concilier à la fois performance, latence, consommation d'énergie et coût ; ces objectifs se contraignent mutuellement, et améliorer l'un se fait souvent au détriment d'un autre. La valeur d'EvoX ne réside donc pas dans une convergence plus rapide vers un « optimum unique », mais dansla conservation d'un ensemble de solutions candidates différenciées, permettant aux chercheurs de comparer gains et coûts à l'intérieur des contraintes, et de poursuivre l'exploration.
Pourquoi il est difficile d'avoir une solution optimale unique dans le monde réel
- Objectifs et contraintes varient selon le contexte: pour l'évaluation hors ligne, pour le mobile ou pour un service en ligne à forte concurrence, les objectifs prioritaires sont totalement différents, et une même configuration peut difficilement l'emporter dans les trois cas.
- Les contraintes comportent des limites infranchissables: la limite de latence de bout en bout, le budget de coût par inférence, les plafonds de mémoire GPU et de consommation d'énergie sont des limites que les solutions candidates doivent respecter, et non des monnaies d'échange que l'on peut négocier contre un « meilleur résultat global ».
- Les objectifs multiples se contraignent mutuellement: augmenter la précision → accroître le calcul et la consommation → augmenter la latence et le coût ; réduire la latence → accepter souvent une baisse de précision. Aucune amélioration n'est gratuite.
Solutions non dominées et front de Pareto
C'est lorsque deux candidats ne peuvent être départagés de manière absolue qu'ils constituent un véritable espace de choix. La méthode de jugement est simple : si un candidat n'est inférieur à un autre sur aucun objectif et est meilleur sur au moins un objectif, alors cet autre candidat est unesolution dominéeet peut être éliminée au tour suivant ; inversement, si aucun ne domine l'autre, les deux doivent être conservés dans l'ensemble des candidats. Tous les candidats qui ne se dominent pas mutuellement forment ensemble le front de Pareto — il préserve intégralement la relation d'échange consistant à savoir « combien il faut sacrifier d'un objectif pour en améliorer un autre ».
Les questions clés du chercheur
- Que peut-on modifier ? — L'architecture du modèle, la stratégie de distillation, la largeur de quantification, la taille du batch ou la stratégie d'ordonnancement du service ?
- Quel retour d'information prouve que le changement est réellement efficace ? — La précision hors ligne, les quantiles de latence en ligne, le coût unitaire ou les courbes d'utilisation des ressources ?
- Quelles contraintes ne peuvent être enfreintes ? — La limite stricte de latence, le budget de coût, les limites de conformité et de sécurité.
- La comparaison est-elle équitable ? — Le test est-il effectué sur le même matériel, avec la même distribution de trafic et les mêmes critères d'évaluation.
- Les résultats suffisent-ils à étayer la conclusion ? — La taille de l'échantillon et la couverture du trafic en ligne sont-elles suffisantes, et la conclusion est-elle reproductible.
- Que conserver et que sacrifier au tour suivant ? — Éliminer les solutions dominées et conserver les candidats différenciés qui ne se dominent pas mutuellement.
