MetaDE dan AutoPSO: Arsitektur Dua Lapis untuk Evolusi Metode

Evolusi metode(Meta-Evolution) mengangkat "metode yang menghasilkan kandidat" itu sendiri menjadi objek yang dioptimalkan: algoritma tidak lagi hanya mencari solusi, tetapi juga memperbaiki "bagaimana dirinya mencari solusi".MetaDE dan AutoPSO adalah dua implementasi representatif dari gagasan ini, keduanya berbagi kerangka yang sama—arsitektur dua lapis dalam-luar: lapisan luar mencariruang algoritma, lapisan dalam menyelesaikan dengan algoritma kandidattugas target, kinerja lapisan dalam dikembalikan sebagai sinyal fitness ke lapisan luar, mendorong algoritma untuk terus memperbaiki diri, membentuk siklus tertutup.

Abstraksi Umum Arsitektur Dua Lapis

Lapisan luar (pencarian ruang algoritma): mencari "definisi algoritma" seperti hyperparameter, strategi, dan kombinasi komponen. Ruang pencariannya bukan ruang solusi, melainkan ruang konfigurasi dan struktur algoritma.
Lapisan dalam (penyelesaian tugas target): menggunakan algoritma kandidat yang dikirim lapisan luar untuk benar-benar menyelesaikan tugas, menghasilkan kinerja yang dapat diukur sebagai dasar penilaian algoritma kandidat tersebut.
Siklus sinyal: kinerja lapisan dalam diagregasi menjadi fitness dan dikembalikan ke lapisan luar, lapisan luar kemudian menyingkirkan konfigurasi buruk, mempertahankan, dan memutasikan konfigurasi terbaik. Begitu siklus tertutup terbentuk, penyelesaian dan perbaikan cara penyelesaian terjadi secara bersamaan.

MetaDE: Menyerahkan Konfigurasi DE kepada Evolusi Lapisan Luar

MetaDE mempertahankan differential evolution sebagai solver lapisan dalam, menyerahkan konfigurasi DE itu sendiri kepada pencarian lapisan luar: pemilihan strategi mutasi, laju crossover, faktor skala, dan lain-lain tidak lagi menjadi konstanta tetap, melainkan objek evolusi yang menyesuaikan secara adaptif dengan masalah dan tahap optimasi. Ini menjawab "bagaimana konfigurasi ini harus ditetapkan pada tahap tugas saat ini", yang termasuk evolusi metode pada lapisan konfigurasi.

AutoPSO: Dari Mengubah Parameter ke Mengubah Struktur Algoritma

AutoPSO memperlakukan parameter inti dan mekanisme pembelajaran PSO sebagaikomponen yang dapat dikombinasikan—berbagai kombinasi bobot inersia, faktor pembelajaran, serta mekanisme pembelajaran individu dan kelompok dicari dan dikombinasikan secara otomatis oleh lapisan luar untuk menghasilkan varian PSO yang sesuai dengan berbagai masalah. Dibandingkan hanya menyetel parameter, ini mengubah "memilih algoritma" menjadi "mencari struktur algoritma", mewujudkan lompatan dari adaptasi parameter ke pembangkitan mekanisme otomatis. Keduanya saling melengkapi: MetaDE condong ke penyetelan otomatis lapisan konfigurasi dan hyperparameter, AutoPSO condong ke kombinasi otomatis lapisan struktur dan komponen, bersama-sama mencakup rentang evolusi dari adaptasi parameter hingga pembangkitan mekanisme otomatis.

Struktur Biaya dan Ketergantungan Rekayasa

Biaya utama optimasi dua lapis terletak pada efek multiplikatif: setiap kali lapisan luar mengevaluasi satu algoritma kandidat, seringkali diperlukan beberapa kali proses lapisan dalam (evaluasi berulang akibat keacakan, validasi gabungan multi-tugas, dll.), sehingga anggaran komputasi membengkak secara signifikan. Oleh karena itu harus dilakukanalokasi anggaran,evaluasi aproksimasi,penghentian diniatauparalelisasidan kompromi lainnya. Secara rekayasa, eksekusi yang efisien bergantung pada paralelisasi tensorisasi, penjadwalan Runtime, dan komposabilitas algoritma; jika tidak, skala pencarian lapisan luar akan lumpuh akibat evaluasi berulang lapisan dalam.

Pergeseran Pola Pikir

Arsitektur ini menggeser peran peneliti dari "merancang satu algoritma secara manual" menjadi "merancang ruang dan mekanisme evaluasi yang memungkinkan algoritma berevolusi": yang diserahkan bukan lagi algoritma tetap, melainkan seperangkat ruang pencarian dan aturan umpan balik yang memungkinkan algoritma terus memperbaiki diri.

Arsitektur Dua Lapis Dalam-Luar MetaDE

Diagram ini menunjukkan siklus tertutup dua lapis dalam-luar MetaDE: lapisan luar mencari strategi mutasi, laju crossover, dan faktor skala di ruang konfigurasi algoritma, lapisan dalam menjalankan differential evolution dengan konfigurasi tersebut untuk menyelesaikan tugas target, dan mengagregasi kinerja lapisan dalam menjadi fitness yang dikembalikan ke lapisan luar, mendorong penyingkiran, pemertahanan, dan mutasi konfigurasi.

Pertanyaan 1

Dalam arsitektur dua lapis yang diwakili MetaDE dan AutoPSO, apa objek langsung pencarian lapisan luar?

Distribusi sampling data pelatihan

Himpunan solusi kandidat untuk tugas target

Topologi fisik klaster GPU

Konfigurasi, struktur, dan kombinasi komponen algoritma itu sendiri

Pertanyaan 2

Objek mana yang terutama dievolusikan lapisan luar dalam MetaDE?

Penjadwalan learning rate gradient descent

Rumus pembaruan kecepatan dan faktor pembelajaran particle swarm

Strategi mutasi, laju crossover, dan faktor skala differential evolution

Jumlah lapisan dan attention head pada neural network

Pertanyaan 3

Mengenai pembagian tugas AutoPSO dan MetaDE, deskripsi manakah yang paling akurat?

AutoPSO menekankan kombinasi otomatis parameter dan mekanisme pembelajaran, mengubah "memilih algoritma" menjadi "mencari struktur algoritma"; MetaDE menekankan evolusi lapisan konfigurasi

AutoPSO hanya menyetel hyperparameter, MetaDE hanya mengubah data pelatihan

AutoPSO dapat bekerja tanpa evaluasi lapisan dalam

Keduanya sepenuhnya setara, hanya berbeda bahasa implementasi

Pertanyaan 4

Mengenai struktur biaya optimasi dua lapis, pernyataan manakah yang benar?

Selama menggunakan GPU, biaya tambahan dapat sepenuhnya dihilangkan

Setiap kali lapisan luar mengevaluasi satu algoritma kandidat seringkali memerlukan beberapa kali proses lapisan dalam, anggaran membengkak secara signifikan, sehingga diperlukan alokasi anggaran, evaluasi aproksimasi, atau penghentian dini

Lapisan luar mengevaluasi satu algoritma kandidat hanya perlu satu kali proses lapisan dalam, biayanya setara dengan satu lapis

Proses lapisan dalam tidak mengonsumsi anggaran komputasi, hanya lapisan luar yang mengonsumsi

Pertanyaan 5

Setelah menggunakan arsitektur dua lapis evolusi metode, apa pergeseran pola pikir peran peneliti?

Sepenuhnya meninggalkan desain algoritma, hanya mengandalkan pencarian acak

Dari merancang satu algoritma secara manual, beralih ke merancang ruang dan mekanisme evaluasi yang memungkinkan algoritma berevolusi

Dari menulis kode beralih ke hanya melakukan anotasi data

Dari pemodelan beralih ke hanya memperhatikan pemilihan perangkat keras

Studi Kasus: Membangun Layanan Evolusi Dua Lapis untuk Tugas yang Terus Berubah

Baca skenario dan jawab dua pertanyaan, jelaskan desain dan kompromi Anda.

Sebuah tim memelihara layanan penyelesaian optimasi kombinatorial yang berjalan di klaster GPU, dengan jenis tugas yang berganti setiap kuartal. Sebelumnya insinyur menetapkan konfigurasi differential evolution dan particle swarm secara manual, namun setelah distribusi tugas berubah, konfigurasi tetap tersebut cepat menjadi tidak efektif. Tim berencana memperkenalkan evolusi metode: lapisan luar mencari ruang algoritma, lapisan dalam menyelesaikan tugas hari itu dengan algoritma kandidat, dan berencana mengandalkan paralelisasi tensorisasi dan penjadwalan Runtime. Manajer proyek khawatir anggaran evaluasi tidak terkendali, dan meminta penjelasan arsitektur serta rencana pengendalian biaya terlebih dahulu.

1. Jelaskan apa tanggung jawab lapisan dalam dan lapisan luar dalam sistem ini, serta bagaimana sinyal mengalir antara lapisan dalam dan luar.

Jawaban:
Lapisan luar bertanggung jawab mencari algoritma kandidat di ruang algoritma: dapat mengevolusikan strategi mutasi, laju crossover, dan faktor skala DE (jalur MetaDE), juga dapat secara otomatis mengombinasikan komponen seperti bobot inersia, faktor pembelajaran, dan mekanisme pembelajaran PSO (jalur AutoPSO). Lapisan dalam menjalankan dan mengevaluasi setiap algoritma kandidat pada tugas target hari itu, menghasilkan kinerja yang dapat dibandingkan; kinerja lapisan dalam diagregasi menjadi fitness lalu dikembalikan ke lapisan luar, lapisan luar kemudian menyingkirkan kandidat buruk, mempertahankan, dan memutasikan konfigurasi terbaik, terus beriterasi. Dengan demikian terbentuk siklus tertutup "lapisan luar mencari ruang algoritma, lapisan dalam menyelesaikan tugas target, umpan balik kinerja mendorong perbaikan".

2. Menghadapi tekanan anggaran "satu kali evaluasi lapisan luar memerlukan beberapa kali proses lapisan dalam", berikan setidaknya dua tindakan kompromi yang layak, dan jelaskan biaya atau risiko masing-masing.

Jawaban:
Tindakan yang tersedia dan biayanya adalah sebagai berikut: ① alokasi anggaran—menetapkan kuota komputasi untuk lapisan luar dan dalam secara terpisah serta membatasi jumlah pengulangan lapisan dalam, biayanya adalah varians evaluasi meningkat dan mungkin salah memilih; ② evaluasi aproksimasi—memperkirakan fitness dengan subset data atau proses jangka pendek, biayanya adalah sinyal berisik dan kandidat terbaik mungkin diremehkan; ③ penghentian dini—menghentikan lebih awal proses lapisan dalam untuk kandidat yang jelas buruk, biayanya adalah mungkin mengeliminasi terlalu dini konfigurasi yang lambat panas namun berkinerja baik di akhir; ④ paralelisasi tensorisasi dan penjadwalan Runtime—menjalankan proses lapisan dalam secara batch dan bersamaan, dapat secara signifikan meringankan waktu nyata (wall clock), tetapi tidak mengurangi total komputasi, dan dibatasi oleh memori GPU serta biaya penjadwalan. Jawaban perlu menjelaskan korespondensi antara setiap tindakan dan biaya atau risikonya, serta mencerminkan estimasi multiplikatif "skala pencarian lapisan luar × jumlah proses lapisan dalam per evaluasi".