Paralelisasi Operator dan Optimasi Kompilasi

Dalam EvoX sebagai basis komputasi modern, unit eksekusi terkecil operator evolusi bukan lagi "individu", melainkan seluruhtensor populasi: operator seperti mutasi, persilangan, dan seleksi dapat mencakup seluruh individu dalam satu pemanggilan; di atas itu,kompilasi graf komputasimenyusun urutan operator menjadi rencana eksekusi yang dapat dioptimalkan, meningkatkan efisiensi eksekusi tanpa mengubah semantik algoritma.

Paralelisasi operator: evolusi batch berbasis tensor

Operator tingkat tensor: mutasi, persilangan, dan seleksi dapat bekerja langsung pada tensor populasi berbentuk [N, D] (N adalah ukuran populasi, D adalah dimensi variabel keputusan), satu pemanggilan operator mencakup seluruh N individu.
Menghilangkan loop per individu: tidak perlu lagi menulis for ind in population: ind = mutate(ind) loop serial Python/CPU seperti ini, sehingga mengurangi overhead penjadwalan fungsi dan pemanggilan framework yang sering.
Menukar dimensi batch dengan throughput: setelah dimensi individu berperan sebagai dimensi batch, operator dieksekusi secara paralel berskala besar di perangkat, dan throughput evolusi batch meningkat seiring ukuran populasi.

Kompilasi graf komputasi: dari urutan operator ke rencana eksekusi

Menyusun hubungan dependensi operator "mutasi → persilangan → seleksi" menjadi sebuahgraf komputasi, sehingga kompilator dapat melakukan optimasi global pada seluruh graf, bukan hanya memanggil implementasi siap pakai per operator:

Fusi operator: menggabungkan beberapa operasi element-wise menjadi satu kernel, mengurangi pembentukan tensor perantara dan pembacaan/penulisan berulang.
Generasi dan penjadwalan kernel: menghasilkan kernel efisien untuk subgraf yang telah difusi, menyelesaikan seluruh generasi evolusi dengan peluncuran kernel yang lebih sedikit.
Penggunaan ulang memori: merencanakan buffer terlebih dahulu untuk hasil perantara, mengurangi overhead alokasi memori GPU dan pemindahan data.

Efisiensi berubah, semantik tidak

Perlu dibedakan antara"bagaimana menghitung"dengan"menghitung apa". Paralelisasi operator dan optimasi kompilasi hanya mengubah cara eksekusi—jumlah kernel, skala tensor perantara, memori dan strategi penjadwalan—tanpa mengubah makna logis dari mutasi, persilangan, dan seleksi itu sendiri. Lapisan algoritma tetap menggabungkan operator sesuai semantik evolusi, sehingga dengan seed acak yang sama, lintasan evolusi dan hasil sebelum dan sesudah optimasi harus konsisten. Dalam satu kalimat: tensorisasi menyelesaikan "seberapa cepat batch dihitung", kompilasi graf komputasi menyelesaikan "seberapa optimal penjadwalan kernel", sedangkan "apa yang dihitung" tetap tidak berubah.

Kesalahpahaman umum

Menganggap "tensorisasi" sebagai "mengganti algoritma evolusi". Tensorisasi hanya menerapkan operator yang sama ke seluruh tensor populasi, aturan pembaruan antarindividu tidak berubah; optimasi kompilasi juga tidak membuat algoritma "menjadi lebih pintar". Yang benar-benar perlu diwaspadai adalah tidak melakukan verifikasi regresi setelah optimasi, dan keliru menganggap perbedaan implementasi sebagai peningkatan algoritma.

Alur paralel operator pada tensor seluruh populasi

Mutasi, persilangan, dan seleksi tidak lagi diulang per individu, melainkan masing-masing dipanggil sekali untuk mencakup seluruh tensor populasi [N, D], dengan dimensi individu berperan sebagai dimensi batch untuk memperbesar throughput; setelah operator-operator ini disusun menjadi graf komputasi berdasarkan hubungan dependensi, kompilator dapat melakukan fusi operator, generasi kernel, dan penggunaan ulang memori, hanya mengubah cara eksekusi, sedangkan semantik algoritma dan lintasan evolusi dengan seed acak tetap tidak berubah.

Soal 1

Dalam implementasi evolusi yang ditensorisasi, satu pemanggilan operator mutasi biasanya bekerja pada apa?

Vektor yang terdiri dari nilai fungsi tujuan

Vektor keputusan dari satu individu

Hanya mencakup individu keturunan yang dihasilkan dari persilangan

Seluruh tensor populasi [N, D]

Soal 2

Mengapa loop Python/CPU per individu secara signifikan memperlambat komputasi evolusi?

Karena penulisan loop hanya dapat digunakan untuk operator seleksi, tidak dapat digunakan untuk mutasi dan persilangan

Karena loop Python akan mengubah definisi matematis operator mutasi

Karena begitu ukuran populasi membesar, tidak dapat dimuat ke memori

Karena banyaknya pemanggilan berskala kecil menimbulkan overhead penjadwalan dan framework yang sering, dan setiap batch hanya 1, sehingga perangkat sulit dimanfaatkan secara penuh

Soal 3

Apa manfaat utama dari "fusi operator" dalam kompilasi graf komputasi?

Menggabungkan beberapa operasi element-wise menjadi lebih sedikit kernel, mengurangi tensor perantara dan jumlah peluncuran kernel

Mengubah distribusi probabilitas operator mutasi menjadi distribusi uniform

Mengganti operator persilangan dengan operator mutasi untuk menyederhanakan implementasi

Secara otomatis menambah lebih banyak individu ke populasi untuk meningkatkan keragaman

Soal 4

Mengenai hubungan antara optimasi kompilasi dan semantik algoritma, pernyataan yang benar adalah?

Optimasi kompilasi hanya efektif untuk operator seleksi, tidak efektif untuk mutasi dan persilangan

Optimasi kompilasi akan mengubah makna logis mutasi, persilangan, dan seleksi, sehingga parameter harus disetel ulang

Optimasi kompilasi hanya mengubah cara eksekusi (jumlah kernel, tensor perantara, strategi penjadwalan), tidak mengubah semantik evolusi operator

Optimasi kompilasi setara dengan mengganti algoritma evolusi menjadi gradient descent

Soal 5

Suatu implementasi ditulis sebagai for ind in population: population[i] = mutate(ind). Jika ingin meningkatkan throughput tanpa mengubah semantik algoritma, perbaikan yang paling tepat adalah?

Ubah menjadi population = mutate(population_tensor), sehingga operator bekerja pada seluruh tensor populasi dalam satu kali, dan serahkan urutan operator ke optimasi kompilasi graf komputasi

Perkecil ukuran populasi N agar loop berjalan lebih cepat

Tetap memproses per individu, hanya mengganti loop dengan multithreading CPU

Menulis ulang loop Python menjadi loop while untuk mengurangi overhead sintaksis

Studi Kasus: Percepatan Strategi Evolusi dengan Ukuran Populasi 4096

Baca skenario dan jawab pertanyaan berikut.

Sebuah tim mengimplementasikan tugas strategi evolusi di EvoX: ukuran populasi N = 4096, dimensi variabel keputusan D = 128. Implementasi awal menyelesaikan mutasi, persilangan, dan seleksi satu per satu untuk setiap individu, dan teramati pemanfaatan perangkat lama berada di bawah 30%, waktu per generasi tumbuh hampir linear seiring ukuran populasi, dan penggunaan memori GPU juga cenderung tinggi. Target tim adalah meningkatkan throughput evolusi batch secara signifikan tanpa mengubah semantik algoritma.

1. Diagnosis hambatan kinerja implementasi ini, dan jelaskan mengapa loop per individu menekan pemanfaatan perangkat sekaligus throughput keseluruhan.

Jawaban:
Hambatannya terletak pada granularitas eksekusi, bukan pada algoritma itu sendiri. Implementasi per individu memecah setiap operator evolusi menjadi N pemanggilan kecil: setiap putaran harus melalui satu penjadwalan framework dan satu peluncuran kernel, overhead tetap diperbesar N kali; setiap kali hanya memproses satu individu, dimensi batch adalah 1, unit eksekusi paralel perangkat tidak dapat terisi penuh, sehingga pemanfaatan secara alami rendah; hasil perantara setiap individu juga berulang kali dibuat dan dilepaskan, menimbulkan overhead tambahan alokasi memori GPU dan pemindahan data. Overhead ini menumpuk secara linear seiring N, sehingga waktu per generasi tumbuh linear seiring ukuran populasi dan throughput tidak meningkat. Kesimpulan diagnosis: dimensi individu harus diubah menjadi dimensi batch, dan operator harus dieksekusi dengan satuan tensor seluruh populasi.

2. Berikan rencana perbaikan optimasi yang konkret, dan jelaskan mengapa semantik algoritma tetap tidak berubah setelah perbaikan.

Jawaban:
Perbaikan terdiri dari tiga langkah. Langkah pertama, tensorisasi operator: tulis ulang pemanggilan per individu menjadi population = mutate(population_tensor), persilangan dan seleksi juga langsung bekerja pada tensor berbentuk [N, D], satu pemanggilan mencakup seluruh individu. Langkah kedua, aktifkan kompilasi graf komputasi: susun "mutasi → persilangan → seleksi" menjadi graf komputasi, lakukan fusi operator, generasi kernel, penggunaan ulang memori, dan optimasi penjadwalan, menyusutkan banyak operasi element-wise menjadi sedikit kernel efisien dan menggunakan ulang buffer dengan baik. Langkah ketiga, verifikasi regresi: dengan seed acak tetap, bandingkan kurva fitness terbaik per generasi dan statistik populasi sebelum dan sesudah optimasi. Alasan semantik tidak berubah adalah: optimasi hanya mengubah cara eksekusi—jumlah kernel, skala tensor perantara, memori dan strategi penjadwalan—sedangkan aturan pembaruan masing-masing mutasi, persilangan, seleksi, urutan penggabungan operator, serta cara penggunaan bilangan acak semuanya tetap konsisten; oleh karena itu dengan seed acak yang sama, keadaan populasi per generasi dan hasil akhir harus konsisten. Manfaat yang diharapkan: jumlah peluncuran kernel dan tensor perantara berkurang drastis, pemanfaatan perangkat dan throughput evolusi batch meningkat signifikan.