Praktik Analisis Perbandingan Efisiensi Komputasi

Halaman ini mewujudkan "perbandingan efisiensi komputasi" menjadi sebuah praktik yang dapat direproduksi:pada tugas evolusi yang sama, bandingkan efisiensi end-to-end antara penelusuran individu serial CPU tradisional dan pemrosesan batch tensor GPU EvoX. Tujuannya bukan menghafal kesimpulan "GPU lebih cepat", melainkan memahami dari mana percepatan dari paralelisasi tensor berasal, apa biayanya, dan di mana batasnya.

Dua Baseline, Tugas yang Sama

Baseline Serial CPU: menggunakan loop untuk memanggil fungsi evaluasi pada setiap individu satu per satu, setiap generasi membutuhkan N kali penjadwalan independen, pembaruan status, dan agregasi hasil. Kontrol loop, overhead interpreter, dan akses memori yang tersebar akan mengencerkan daya komputasi efektif; semakin banyak individu, semakin tinggi proporsi biaya "non-komputasi" ini.
Implementasi Tensor GPU sebagai Pembanding: EvoX mengorganisasi populasi, input evaluasi, dan status eksekusi sebagai tensor, menjalankan evaluasi dan operator secara batch di GPU, satu pemanggilan mencakup seluruh kumpulan kandidat, sehingga sangat mengurangi loop serial dan jumlah penjadwalan.

Protokol Pengukuran: Membuat Perbandingan Dapat Direproduksi

Perbandingan yang dapat direproduksi harusmenetapkan soal, ukuran populasi, jumlah iterasi generasi, dan benih acak, lalu mencatat: wall-clock per generasi, total waktu, throughput (evaluasi/detik), rasio percepatan, serta utilisasi GPU dan penggunaan memori GPU. Sebelum mengukur waktu perlu dilakukanpemanasanuntuk menyingkirkan pengaruh kompilasi pertama dan alokasi memori GPU, serta melakukansinkronisasi perangkatpada titik pengukuran waktu, sekaligus mencatat waktu komputasi dan waktu transfer data host-perangkat secara terpisah. Jika salah satu langkah ini tidak ada, rasio percepatan yang diperoleh bisa jadi tidak akurat.

Dari Mana Perbedaannya Berasal, dan Kendala Apa yang Membatasinya

Sumber Manfaat: paralelisme batch, operator tensor, dan paralelisme dalam perangkat memungkinkan satu pemanggilan memproses seluruh kumpulan kandidat, sehingga lebih banyak evaluasi selesai per satuan waktu.
Kendala: ukuran batch, dimensi soal, tingkat vektorisasi fungsi evaluasi, biaya penyalinan host-perangkat, dan biaya peluncuran kernel semuanya memengaruhi percepatan akhir. Batch yang terlalu kecil akan membuat manfaatnya termakan biaya peluncuran; jika fungsi evaluasi tidak dapat divektorisasi, pemrosesan batch hampir tidak dapat berperan.

Kesimpulan Praktik

Urutan yang benar adalah:verifikasi terlebih dahulu apakah fungsi evaluasi dapat dijadikan batch, baru bandingkan implementasi CPU dan GPU. Keunggulan efisiensi pada akhirnya harus berpulang pada "memperoleh lebih banyak generasi atau lebih banyak solusi kandidat dengan anggaran komputasi yang sama", dan berdasarkan itu menentukan cara penerapan serta desain eksperimen, bukan sekadar mengejar angka rasio percepatan yang bagus.

Perbandingan Efisiensi Serial CPU vs Batch GPU

Dalam perbandingan ini, baseline serial CPU mengevaluasi individu satu per satu dalam loop, setiap generasi memerlukan N kali penjadwalan dan pembaruan status, overhead interpreter dan akses memori mengencerkan daya komputasi efektif; pemrosesan batch GPU mengorganisasi populasi dan input evaluasi sebagai tensor, satu pemanggilan mencakup seluruh kumpulan kandidat. Rasio percepatan dibatasi oleh ukuran batch, tingkat vektorisasi fungsi evaluasi, dan biaya penyalinan host-perangkat.

Soal 1

Dalam implementasi baseline penelusuran individu serial CPU, dari mana sebagian besar biaya waktu setiap generasi berasal?

Biaya transfer data antara host dan perangkat

Biaya peluncuran kernel GPU

Biaya reduksi batch dari operator tensor

Biaya penjadwalan, interpreter, dan akses memori tersebar akibat pemanggilan fungsi evaluasi secara independen untuk setiap individu

Soal 2

Apa mekanisme kunci yang membuat evaluasi batch EvoX di GPU dapat mengurangi overhead serial?

Mengorganisasi populasi, input evaluasi, dan status eksekusi menjadi tensor, satu pemanggilan mencakup seluruh kumpulan kandidat

Secara otomatis memperkecil ukuran populasi untuk mengurangi beban komputasi per generasi

Meningkatkan presisi komputasi evaluasi individu sehingga mengurangi jumlah generasi

Menggunakan lebih sedikit benih acak untuk mengurangi jumlah pengambilan sampel ulang

Soal 3

Manakah dari berikut ini yang paling sesuai dengan protokol pengukuran perbandingan efisiensi komputasi yang baku?

Tidak melakukan sinkronisasi perangkat pada titik pengukuran, untuk menangkap eksekusi asinkron secara paling lengkap

Hanya melaporkan total waktu, tanpa perlu menetapkan benih acak

Menetapkan soal, ukuran populasi, jumlah generasi, dan benih, mengukur waktu setelah pemanasan dan sinkronisasi perangkat, serta membedakan waktu komputasi dan transfer data

Hanya membandingkan berbagai ukuran batch GPU, tanpa perlu membandingkan dengan baseline CPU

Soal 4

Mengapa sinkronisasi perangkat harus dilakukan sebelum mengukur waktu GPU?

GPU sering mengeksekusi secara asinkron; jika tidak disinkronkan, pengukuran waktu bisa melewatkan komputasi yang belum selesai sehingga meremehkan waktu aktual

Sinkronisasi dapat secara langsung meningkatkan daya komputasi puncak GPU

Sinkronisasi akan mengatur ulang benih acak untuk menjamin reproduktibilitas

Sinkronisasi dapat menghilangkan semua transfer data antara host dan perangkat

Soal 5

Ketika tingkat vektorisasi fungsi evaluasi sangat rendah, bagaimana keunggulan efisiensi pemrosesan batch GPU biasanya berubah?

Secara otomatis stabil pada percepatan sepuluh kali yang pasti

Justru meningkat tanpa batas seiring bertambahnya ukuran batch

Sama sekali tidak terpengaruh oleh tingkat vektorisasi, rasio percepatan konstan

Melemah secara signifikan, bahkan manfaatnya bisa terbatas karena biaya penyalinan dan peluncuran kernel

Praktik Kasus: Eksperimen Perbandingan Efisiensi yang Dapat Direproduksi

Baca desain eksperimen di bawah ini, jawab dua pertanyaan, dan jelaskan dasar penilaian serta proses penalaran Anda.

Tim ingin membandingkan implementasi serial CPU dengan implementasi pemrosesan batch tensor GPU EvoX pada tugas evolusi yang sama. Dimensi soal cukup tinggi, bagian utama fungsi evaluasi terdiri dari operasi numerik yang dapat divektorisasi, hanya ada sedikit logika pascaproses per individu. Rencananya soal, ukuran populasi N=512, jumlah iterasi generasi, dan benih acak akan ditetapkan, serta mencatat wall-clock per generasi, total waktu, throughput, dan rasio percepatan. Saat uji coba awal, seorang anggota mengukur waktu langsung di sisi GPU tanpa sinkronisasi perangkat dan langsung mengklaim percepatan sekitar 9 kali berdasarkan hasil tersebut; sementara anggota lain menguji dengan batch sangat kecil (b=8) dan hanya mendapatkan rasio percepatan sekitar 1,2 kali.

1. Mengapa "percepatan sekitar 9 kali" yang diperoleh tanpa sinkronisasi perangkat kemungkinan besar tidak dapat dipercaya? Bagaimana eksperimen tersebut harus diperbaiki?

Jawaban:
GPU menggunakan model eksekusi asinkron: setelah host mengirimkan kernel, host melanjutkan eksekusi tanpa menunggu kernel selesai. Jika tidak dilakukan sinkronisasi perangkat pada titik pengukuran waktu, waktu yang terukur mungkin hanya mencakup tahap pengiriman kernel, mengabaikan komputasi aktual yang masih berjalan, sehingga waktu GPU sangat diremehkan dan rasio percepatan menjadi terlalu tinggi. Cara memperbaikinya adalah: panggil sinkronisasi perangkat pada setiap titik pengukuran waktu untuk memastikan semua pekerjaan yang dikirimkan benar-benar selesai sebelum membaca stempel waktu; sekaligus lakukan iterasi pemanasan untuk menyingkirkan biaya kompilasi pertama dan alokasi memori GPU, serta catat waktu transfer data host-perangkat dan waktu komputasi murni secara terpisah. Hanya waktu per generasi dan total waktu yang diukur dengan benih tetap, pemanasan, dan sinkronisasi yang dapat dijadikan dasar rasio percepatan yang kredibel.

2. Tim juga mengamati bahwa dengan batch kecil (b=8) rasio percepatan hanya sekitar 1,2 kali; ini tidak bertentangan dengan manfaat yang seharusnya diberikan oleh fungsi evaluasi yang dapat divektorisasi. Jelaskan penyebabnya dan berikan saran optimasi.

Jawaban:
Manfaat percepatan pemrosesan batch dibatasi bersama oleh ukuran batch, biaya peluncuran kernel, dan biaya transfer data. Ketika ukuran batch terlalu kecil, jumlah pekerjaan yang dapat diparalelkan di perangkat tidak mencukupi, biaya tetap seperti peluncuran kernel dan penyalinan host-perangkat mengambil proporsi besar dari waktu per generasi, sehingga paralelisme efektif tidak dapat menyerap biaya tersebut dan rasio percepatan wajar tertekan mendekati 1. Saran: (1) perbesar ukuran batch dalam batas memori GPU yang tersedia (misalnya dari b=8 ke b=64, b=256, atau bahkan lebih besar) agar biaya tetap dapat diserap oleh lebih banyak individu kandidat; (2) usahakan memvektorisasi fungsi evaluasi dan logika pascaproses secara keseluruhan, mengurangi pengiriman balik dari perangkat dan percabangan per individu; (3) ukur ulang sesuai protokol baku—tetapkan soal, populasi, generasi, dan benih acak, ukur waktu setelah pemanasan dan sinkronisasi, lalu laporkan waktu per generasi, total waktu, throughput, dan rasio percepatan secara terpisah, sehingga dapat dinilai apakah manfaatnya benar-benar berpulang pada tujuan "memperoleh lebih banyak generasi atau kandidat dengan anggaran yang sama".