Kompleksitas Dunia Nyata dan Pertukaran Multi-Tujuan

Di dunia nyata, masalah optimasijarang hanya memiliki satu tujuan, dan jarang hanya memiliki satu jawaban. Sistem yang sama sering kali harus memenuhi kinerja, latensi, konsumsi energi, dan biaya secara bersamaan; tujuan-tujuan ini saling membatasi, sehingga memperbaiki satu hal sering kali harus mengorbankan hal lain. Karena itu, nilai EvoX bukan terletak pada kemampuan untuk lebih cepat konvergen ke suatu “solusi optimal tunggal”, melainkan padamempertahankan sekumpulan kandidat solusi yang berbeda satu sama lain, sehingga peneliti dapat membandingkan manfaat dan biaya di dalam batasan yang ada, serta terus melakukan eksplorasi.

Mengapa Dunia Nyata Sulit Memiliki Solusi Optimal Tunggal

Tujuan dan batasan berubah sesuai skenario: untuk evaluasi offline, untuk perangkat mobile, dan untuk layanan daring dengan konkurensi tinggi, ketiganya memiliki prioritas tujuan yang sama sekali berbeda, sehingga satu set konfigurasi sulit untuk unggul di semuanya sekaligus.
Batasan memiliki batas yang tidak boleh dilanggar: batas atas latensi end-to-end, anggaran biaya inferensi per unit, batas atas memori GPU dan daya, dan lain-lain merupakan batas yang wajib dipenuhi oleh kandidat solusi, bukan sesuatu yang dapat ditukar dengan alasan “lebih baik secara keseluruhan”.
Tujuan-tujuan yang saling membatasi: akurasi meningkat → beban komputasi dan konsumsi energi naik → latensi dan biaya naik; sebaliknya, menekan latensi → sering kali harus menerima penurunan akurasi. Tidak ada peningkatan yang gratis.

Solusi Non-Dominan dan Front Pareto

Ketika dua kandidat tidak dapat dibandingkan secara mutlak mana yang lebih unggul, di situlah ruang pilihan yang sesungguhnya terbentuk. Cara penentuannya cukup langsung: jika suatu kandidat tidak lebih buruk daripada kandidat lain pada semua tujuan, dan lebih baik pada setidaknya satu tujuan, maka kandidat lainnya adalahsolusi terdominasi, yang dapat dieliminasi pada putaran berikutnya; sebaliknya, jika keduanya saling tidak mendominasi, keduanya harus dipertahankan dalam himpunan kandidat. Semua kandidat yang saling tidak mendominasi ini jika dihubungkan akan membentuk front Pareto—yang merekam secara utuh hubungan pertukaran “berapa banyak aspek lain yang harus dikorbankan untuk memperbaiki satu aspek”.

Pertanyaan Kunci bagi Peneliti

Objek apa yang dapat diubah?——Arsitektur model, strategi distilasi, lebar bit kuantisasi, ukuran batch, atau kebijakan penjadwalan layanan?
Umpan balik apa yang dapat menunjukkan bahwa perubahan benar-benar efektif?——Akurasi offline, kuantil latensi daring, biaya per unit, atau kurva penggunaan sumber daya?
Batasan apa yang tidak boleh dilanggar?——Batas atas latensi yang bersifat mutlak, anggaran biaya, serta batas kepatuhan dan keamanan.
Apakah perbandingannya adil?——Apakah dibandingkan pada perangkat keras yang sama, distribusi trafik yang sama, dan metode evaluasi yang sama.
Apakah hasilnya cukup untuk mendukung kesimpulan?——Apakah jumlah sampel dan cakupan trafik daring memadai, serta apakah kesimpulannya dapat direproduksi.
Apa yang dipertahankan dan apa yang dilepaskan pada putaran berikutnya?——Eliminasi solusi terdominasi, pertahankan kandidat beragam yang saling tidak mendominasi.

Penilaian Lebih Langka daripada Kode

Kecerdasan buatan dapat membantumu mewujudkan jawaban dengan cepat, tetapi “masalah apa yang layak dijawab, bukti apa yang layak dipercaya, dan hasil seperti apa yang cukup baik” tetap harus ditentukan oleh peneliti. Kode itu murah; selera dan penilaian adalah yang kunci: biarkan sistem masuk ke lingkungan nyata, menerima umpan balik nyata, dan terus menghasilkan, menguji, serta mempertahankan perbaikan dalam operasi jangka panjang.

Pertukaran Multi-Tujuan dan Front Pareto

Gambar tersebut membandingkan kandidat pada berbagai dimensi seperti kinerja, latensi, konsumsi energi, dan biaya: jika suatu kandidat tidak lebih buruk pada setiap tujuan dan lebih baik pada setidaknya satu tujuan, maka kandidat lainnya merupakan solusi terdominasi dan dapat dieliminasi pada putaran berikutnya. Kandidat-kandidat yang saling tidak mendominasi bersama-sama membentuk front Pareto, yang merekam secara utuh hubungan pertukaran di mana memperbaiki satu aspek mengharuskan pengorbanan aspek lainnya.

Pertanyaan 1

Halaman ini menyatakan bahwa ciri paling khas dari masalah optimasi di dunia nyata adalah apa?

Tujuan dan batasan selalu tetap, sehingga dapat diselesaikan sekali untuk penggunaan jangka panjang.

Beberapa tujuan saling membatasi, dan memperbaiki salah satunya sering kali mengorbankan yang lain.

Selama daya komputasi cukup, pasti ada satu solusi optimal tunggal yang stabil.

Hanya ada satu tujuan yang perlu dioptimalkan, sementara parameter lainnya adalah konstanta yang tetap.

Pertanyaan 2

Dalam skenario multi-tujuan, apa risiko terbesar dari “konvergensi terlalu dini ke satu jawaban tunggal”?

Waktu pelatihan menjadi lebih lama, sehingga hasil tidak dapat diserahkan sebelum tenggat waktu.

Hasil eksperimen tidak dapat direproduksi, sehingga memengaruhi publikasi makalah.

Hilangnya informasi pertukaran antar kandidat, sehingga pengambil keputusan tidak dapat membandingkan manfaat dan biaya.

Jumlah parameter model bertambah, sehingga penggunaan memori GPU ikut meningkat.

Pertanyaan 3

Kandidat solusi seperti apa yang dapat disebut “solusi non-dominan”?

Kandidat dengan kecepatan inferensi tercepat dan penggunaan sumber daya paling sedikit.

Kandidat dengan skor tertinggi pada satu tujuan yang paling penting.

Kandidat yang tidak lebih buruk daripada kandidat lain pada semua tujuan, dan lebih baik pada setidaknya satu tujuan, sehingga tidak dapat dikalahkan secara menyeluruh.

Kandidat dengan nilai loss terendah pada data pelatihan.

Pertanyaan 4

Mengenai batasan, praktik manakah berikut ini yang sesuai dengan pandangan di halaman ini?

Batasan ditentukan secara otomatis oleh lingkungan operasi, sehingga peneliti tidak perlu memperhatikannya.

Setelah semua batasan dikonversi menjadi satu tujuan, batasan-batasan tersebut tidak perlu lagi dipertimbangkan secara terpisah.

Tentukan terlebih dahulu batasan mana yang tidak boleh dilanggar, dan jadikan hal itu sebagai batas yang wajib dipenuhi oleh kandidat solusi.

Selama metrik gabungan akhirnya lebih baik, batas atas latensi boleh dilanggar sementara untuk memperoleh manfaat.

Pertanyaan 5

Dalam siklus evolusi EvoX, kontribusi peneliti yang paling tidak tergantikan adalah apa?

Menyerahkan standar evaluasi sepenuhnya kepada sistem untuk ditentukan secara otomatis, dan peneliti hanya bertugas menjalankannya.

Menulis lebih banyak kode secepat mungkin, dan mewujudkan jawaban dengan cepat.

Meningkatkan throughput per generasi semaksimal mungkin, agar jumlah kandidat menjadi maksimal.

Menilai masalah apa yang layak dijawab, bukti apa yang layak dipercaya, dan hasil seperti apa yang cukup baik.

Studi Kasus: Pertukaran Multi-Tujuan dalam Layanan Model

Baca skenario, lalu jawab pertanyaan.

Sebuah tim bersiap meluncurkan model rekomendasi ke layanan daring. Mereka memiliki tiga jenis kandidat: model besar dengan akurasi tertinggi (unggul dalam akurasi, tetapi latensi tinggi serta konsumsi energi GPU dan biaya per unit besar), model kecil yang ringan (latensi terendah dan biaya paling hemat, tetapi akurasi menurun secara signifikan), serta beberapa model distilasi di kisaran menengah. Pihak bisnis memberikan dua persyaratan mutlak: latensi end-to-end harus dikendalikan di bawah 80 milidetik, dan biaya inferensi per pemanggilan tidak boleh melebihi batas anggaran. Tim memutuskan untuk menggunakan EvoX guna terus mengevolusikan sekumpulan kandidat solusi, dan mengumpulkan umpan balik pada trafik nyata.

1. Mengapa tim tidak seharusnya hanya menjadikan solusi “dengan akurasi tertinggi” sebagai hasil akhir satu-satunya?

Jawaban:
Karena akurasi, latensi, konsumsi energi, dan biaya saling membatasi, solusi tunggal akan menyembunyikan biaya dari pertukaran tersebut. Pertama, solusi dengan akurasi tertinggi sangat mungkin melanggar dua batasan keras, yaitu latensi 80 milidetik atau anggaran biaya; kandidat yang melanggar batas tidak boleh dimasukkan ke dalam himpunan hasil akhir. Kedua, bahkan jika solusi tersebut memenuhi batasan, pihak bisnis tetap perlu melihat hubungan pertukaran antar kandidat yang berbeda, yakni “berapa banyak latensi dan biaya yang ditukar dengan akurasi”, agar dapat membuat penilaian dengan mempertimbangkan prioritas bisnis. Oleh karena itu, cara yang benar adalah memanfaatkan EvoX untuk menghasilkan sekumpulan kandidat non-dominan pada front Pareto, sehingga solusi latensi rendah-akurasi rendah, solusi seimbang, dan solusi akurasi tinggi-biaya tinggi dapat terlihat secara bersamaan, lalu pengambil keputusan memilihnya dalam kerangka batasan dan prioritas, bukan menyamarkannya sebagai satu jawaban titik tunggal yang seolah-olah optimal.

2. Dalam proses evolusi, pertanyaan kunci apa yang harus diajukan oleh tim? Berikan setidaknya empat pertanyaan, dan jelaskan bagaimana pertanyaan-pertanyaan tersebut memengaruhi “apa yang dipertahankan dan apa yang dilepaskan pada putaran berikutnya”.

Jawaban:
Pertanyaan-pertanyaan kunci yang dapat diajukan meliputi: ① Objek apa yang dapat diubah——apakah arsitektur model, strategi distilasi, lebar bit kuantisasi, atau penanganan batch dan penjadwalan layanan; hal ini menentukan ukuran dan arah ruang pencarian. ② Umpan balik apa yang dapat menunjukkan bahwa perubahan efektif——akurasi offline, kuantil latensi daring, biaya inferensi per unit, atau kurva penggunaan sumber daya; hal ini menentukan apakah sinyal evaluasi benar-benar dapat dipercaya. ③ Batasan apa yang tidak boleh dilanggar——batas atas latensi 80 milidetik, anggaran biaya, serta batas kepatuhan dan keamanan; hal ini menetapkan wilayah layak yang wajib dipenuhi oleh kandidat. ④ Apakah perbandingannya adil——apakah dibandingkan pada perangkat keras yang sama, distribusi trafik yang sama, dan metode evaluasi yang sama; perbandingan yang tidak adil akan menghasilkan kesimpulan yang salah. ⑤ Apakah hasilnya cukup untuk mendukung kesimpulan——apakah jumlah sampel dan cakupan trafik daring memadai, serta apakah kesimpulannya dapat direproduksi. ⑥ Apa yang dipertahankan dan apa yang dilepaskan pada putaran berikutnya. Berdasarkan jawaban-jawaban ini, tim terlebih dahulu menyingkirkan kandidat yang melanggar batasan keras, lalu menyingkirkan solusi terdominasi yang dilampaui secara menyeluruh oleh kandidat lain, dan mempertahankan solusi yang saling tidak mendominasi dengan perbedaan yang jelas, sehingga dapat menghindari konvergensi terlalu dini dan tetap memiliki pilihan saat prioritas bisnis berubah.