Bottleneck efisiensi loop CPU serial tradisional

Proses evolusi bergantung pada keragaman populasi, dan keragaman berarti pertumbuhan berlipat ganda pada ukuran populasi serta jumlah evaluasi. Ketika evaluasi kandidat mencapai puluhan ribu kali,loop CPU serial tradisionalmenjadi bagian tersempit di seluruh alur: ia hanya memproses satu individu dalam satu waktu, sehingga kemampuan paralel perangkat keras hampir tidak terpakai.

Satu per satu: model eksekusi loop serial

Implementasi paling sederhana adalah memperlakukan seluruh populasi sebagai sebuah list, lalu mengambil individu satu per satu dengan loop: ambil individu → dekode menjadi parameter konkret → panggil fungsi evaluasi → tulis kembali nilai fitness. Iterasi yang berdekatan hampir tidak dapat tumpang tindih: tanpa hasil evaluasi, penulisan kembali tidak dapat dilanjutkan; tanpa penyelesaian penulisan kembali, individu berikutnya tidak punya tempat untuk menampung hasilnya. Akibatnya unit paralel seperti multi-core, SIMD, dan GPU sebagian besar waktu menganggur, hanya bisa melihat satu individu menyelesaikan prosesnya di alur.

Dari mana sebenarnya biaya itu berasal

Jumlah evaluasi yang membengkak secara linear: total evaluasi kira-kira sama dengan ukuran populasi × jumlah generasi; saat mencapai orde 10⁵, waktu wall-clock serial tumbuh hampir linear.
Eksekusi satu per satu di lapisan interpreter: loop per individu, pemeriksaan batas, dan pengiriman tipe menghasilkan biaya konstan yang tetap namun mahal.
Akses memori tidak berurutan dan pemindahan data: individu yang diambil satu per satu sering kali tidak berurutan di memori, tingkat cache hit rendah, dan biaya pemindahan harus dibayar berulang kali.
Sinkronisasi dan penjadwalan: untuk mengambil individu berikutnya, alur eksekusi harus berhenti dan dilanjutkan berulang kali.

Mengonversi skala menjadi waktu

Sebagai contoh, dengan populasi 1000 dan 100 generasi, totalnya sekitar 100 ribu evaluasi kandidat. Jika satu evaluasi rata-rata memerlukan 1 ms, tahap evaluasi saja secara serial membutuhkan sekitar 100 detik, belum termasuk biaya komputasi operator dan penjadwalan; jika untuk menjaga keragaman jumlah restart ditingkatkan dari 1 menjadi 5 kali, biayanya naik hampir linear menjadi sekitar 500 detik. Dengan beban kerja yang sama, jika diorganisir per batch dan ditangani perangkat keras paralel, waktu wall-clock terutama ditentukan oleh jumlah batch, bukan jumlah individu.

Kapan bottleneck ini akan menyempit

Kondisi batas juga penting: ketika satu evaluasi sangat murah (skala mikrodetik) atau populasi sangat kecil (di bawah ratusan), biaya penjadwalan dan memori bisa melebihi biaya komputasi, selisih antara serial dan paralel menyempit secara signifikan, manfaat marginal tensorisasi menurun, dan bottleneck akan berpindah ke granularitas penjadwalan serta bandwidth memori. Karena itu, apakah model eksekusi layak dirombak perlu dievaluasi dengan mempertimbangkan biaya evaluasi dan skala secara bersamaan.

Bottleneck struktural, bukan cacat kode

Bottleneck efisiensi loop CPU serial berada pada level model eksekusi: penyetelan kode pada titik tertentu tidak dapat menghilangkannya. Untuk benar-benar mengatasinya, perlu merombak pemrosesan satu per satu menjadi per batch—pemrosesan batch, tensorisasi, dan penjadwalan paralel—yang juga menjadi motivasi langsung bagi perancangan graf komputasi bertensorisasi selanjutnya.

Perbandingan waktu proses serial vs paralel

Sebagai contoh, dengan populasi 1000 dan 100 generasi, totalnya sekitar 100 ribu evaluasi kandidat; jika satu evaluasi memerlukan 1 milidetik, tahap evaluasi saja secara serial membutuhkan sekitar 100 detik, dan dengan 5 kali restart naik hampir linear menjadi sekitar 500 detik. Setelah diorganisir per batch dan diserahkan ke perangkat keras paralel, waktu wall-clock terutama ditentukan oleh jumlah batch, bukan jumlah individu.

Pertanyaan 1

Komputasi evolusioner tradisional mengevaluasi individu kandidat satu per satu dalam loop CPU serial. Apa keterbatasan model eksekusi yang paling utama?

Tidak dapat melakukan penulisan kembali atau pembaruan apa pun terhadap populasi

Iterasi yang berdekatan sulit tumpang tindih, unit paralel seperti multi-core, SIMD, dan GPU sebagian besar waktu menganggur

Hanya dapat memproses representasi individu berkode biner

Tidak dapat mendefinisikan fungsi fitness, sehingga tidak dapat mengevaluasi individu kandidat mana pun

Pertanyaan 2

Ukuran populasi 1000, 100 generasi, dan satu evaluasi kandidat rata-rata memerlukan 1 ms. Berapa kira-kira waktu wall-clock tahap evaluasi saja jika dijalankan secara serial?

Sekitar 100 detik

Sekitar 1 detik

Sekitar 10 detik

Sekitar 10000 detik

Pertanyaan 3

Manakah dari berikut ini yang bukan faktor yang memperbesar biaya konstan loop serial?

Loop di lapisan interpreter per individu

Pemeriksaan batas dan pengiriman tipe per individu

Penjadwalan pemrosesan batch bertensorisasi

Akses memori tidak berurutan dan pemindahan data yang sering

Pertanyaan 4

Pada model eksekusi paralel batch, apa yang terutama menentukan waktu wall-clock untuk menyelesaikan total beban kerja yang sama (misalnya 10⁵ evaluasi)?

Jumlah batch dan waktu per batch

Total jumlah individu kandidat

Panjang pengkodean populasi

Nilai seed acak

Pertanyaan 5

Dalam situasi manakah pernyataan bahwa loop serial merupakan bottleneck struktural paling mungkin tidak berlaku?

Untuk menjaga keragaman diperlukan beberapa kali restart independen

Satu evaluasi turun ke skala mikrodetik, dan ukuran populasi hanya ratusan

Fungsi evaluasi mencakup simulasi fisik presisi tinggi yang mahal

Waktu satu evaluasi mencapai skala milidetik, dan ukuran populasi mencapai puluhan ribu

Studi Kasus: Pemilihan model eksekusi pada 100 ribu evaluasi

Bacalah skenario berikut dan jawab pertanyaan dengan mengaitkan pada bottleneck efisiensi loop serial.

Sebuah tim menggunakan algoritma evolusioner untuk mengoptimalkan sekumpulan parameter teknik: ukuran populasi 1000, 100 generasi, dan evaluasi setiap individu kandidat memerlukan pemanggilan simulasi dengan rata-rata 1 ms. Implementasi saat ini adalah loop CPU serial tradisional yang mengeksekusi dekode, evaluasi, dan penulisan kembali satu per satu. Tim ingin mempersingkat setiap putaran eksperimen dari belasan menit menjadi hitungan menit tanpa menurunkan kualitas solusi; sekaligus, untuk menjaga keragaman populasi, mereka juga berencana menambah jumlah restart independen dari 1 menjadi 5 kali.

Perkirakan waktu wall-clock tahap evaluasi saja pada implementasi serial saat ini, dan jelaskan perubahannya ketika jumlah restart dinaikkan dari 1 menjadi 5 kali. Berdasarkan hal itu, tentukan di mana fokus optimalisasi sebaiknya diletakkan.

Jawaban:
Jumlah evaluasi kandidat per sekali jalan sekitar 1000 × 100 = 10⁵ kali, dikalikan 1 ms menghasilkan sekitar 100 detik; dengan 5 kali restart menjadi sekitar 5 × 10⁵ evaluasi, yaitu sekitar 500 detik, dengan waktu wall-clock membengkak hampir linear. Ini menunjukkan bahwa penyetelan mikro tingkat konstan di dalam operator memberikan manfaat yang terbatas; fokus optimalisasi sebaiknya diletakkan pada level model eksekusi—pemrosesan batch, tensorisasi, dan penjadwalan paralel—sehingga waktu wall-clock ditentukan oleh jumlah batch, bukan jumlah individu.

Jika tim beralih ke model eksekusi paralel batch, kondisi batas apa lagi yang perlu dipertimbangkan untuk menilai apakah perombakan ini layak? Berikan setidaknya dua poin, dan jelaskan pengaruhnya terhadap manfaat yang diperoleh.

Jawaban:
Pertama, biaya evaluasi dan skala: jika satu evaluasi turun ke skala mikrodetik, atau populasi menyusut di bawah ratusan, biaya penjadwalan dan pemindahan memori bisa melebihi biaya komputasi, sehingga manfaat paralel menurun. Kedua, batasan jumlah batch dan ukuran batch: ukuran batch dibatasi oleh memori GPU dan bandwidth memori serta waktu komputasi per batch; batch yang terlalu besar akan menaikkan waktu per batch dan biaya sinkronisasi. Ketiga, tata letak data dan akses memori: jika individu kandidat tidak dapat diorganisir menjadi tensor yang berurutan dan dapat divektorisasi, pemrosesan batch tetap akan berkurang efisiensinya akibat akses memori yang tidak berurutan. Secara keseluruhan, manfaat perombakan model eksekusi baru signifikan ketika jumlah evaluasi dan biaya per evaluasi sama-sama cukup besar.