8

Tiến hóa cấu trúc thuật toán: AutoPSO và EvoGO

AI999第5课:方法演化:从优化解到优化算法本身
00:00

Trong các phương pháp như MetaDE, quá trình tiến hóa diễn ra ởtầng tham số: thuật toán bên trong giải quyết nhiệm vụ thực tế, thuật toán bên ngoài điều chỉnh cấu hình và chiến lược của thuật toán bên trong. Còn AutoPSO và EvoGO nâng đối tượng được tiến hóa lên thêm một tầng nữa — tiến hóa trực tiếpbản thân cấu trúc thuật toán: các thành phần kết hợp với nhau thế nào, ứng viên được sinh ra ra sao, quy tắc cập nhật được tổ chức như thế nào.

Tiến hóa cấu trúc thuật toán: AutoPSO và EvoGOTầng ngoài tiến hóa cấu trúc thuật toán (đổi cấu trúc, chứ không chỉ chỉnh tham số) · Tầng trong đánh giá trên nhiệm vụ thực tế và phản hồiTầng ngoàiBể thành phần (toán tử có thể kết hợp)Thành phần vận tốc hạt / cập nhật vị tríCấu trúc tô-pô lân cậnThành phần nhiễu độngChiến lược khởi động lạiCông thức cố định được tách thành các thành phần tùy chọnLắp ghép cấu trúcLựa chọn cấu trúc dựa trên phản hồi lịch sửCác thành phần kết hợp thế nàoỨng viên được sinh ra ra saoQuy tắc cập nhật được tổ chức thế nàoKhung xương chung của AutoPSO và EvoGOTầng cấu trúc: thành phần và cách kết nối có thể thay đổiBộ sinh ứng viênĐược khởi tạo từ cấu trúc tầng ngoàiKết quả đánh giá của tầng trongĐộ thích nghi / quỹ đạo hội tụBản ghi ghép cặp cấu trúc — hiệu suấtCung cấp căn cứ thống kê cho lựa chọn ở tầng ngoàiMật độ mẫu là tiền đề cho lựa chọn đáng tin cậyKết hợpKhởi tạoCấu trúc chạy ở tầng trongPhản hồi lịch sửVô lăng định hướng cập nhật cấu trúcTầng trong: Đánh giá nhiệm vụ + Chạy song song hàng loạt trên GPUNhiều nhiệm vụ tầng trong được đánh giá đồng thời, giúp mẫu đối chiếu cấu trúc — hiệu suất đủ dày đặcĐánh giá song song hàng loạtChỉnh hệ số học chỉ thay đổi cường độ hành vi; thay đổi cách kết hợp thành phần mới thay đổi hình thái hành vi.

Tiêu chí: Tầng ngoài thực sự đang tìm kiếm điều gì

Để phân biệt "chỉnh tham số" và "đổi cấu trúc", không thể chỉ nhìn tên phương pháp mà phải xemtầng bậc của không gian tìm kiếm tầng ngoài. Không gian tìm kiếm tầng ngoài của các phương pháp như MetaDE là cấu hình và chiến lược của thuật toán tầng trong (các giá trị như hệ số học, xác suất đột biến, áp lực chọn lọc); còn không gian tìm kiếm tầng ngoài của AutoPSO / EvoGO lại là cấu trúc thuật toán — những thành phần nào tham gia kết hợp, quy trình sinh ứng viên trông ra sao, trạng thái được cập nhật như thế nào.

  • tầng tham số: cấu trúc cố định, chỉ chỉnh giá trị số. Phạm vi có thể đạt tới là "cường độ" hành vi.
  • Tầng cấu trúc: thành phần và cách kết nối có thể thay đổi. Phạm vi có thể đạt tới là "hình thái" hành vi.

AutoPSO: Tách PSO cổ điển thành bể thành phần

Công thức cập nhật vận tốc — vị trí của PSO cổ điển là cố định cứng. AutoPSO tách quá trình này thành các thành phần có thể kết hợp: thành phần vận tốc, tô-pô lân cận, thành phần nhiễu động, chiến lược khởi động lại, v.v., rồi để tầng ngoài tiến hóa chọn lọc và lắp ghép thành bộ sinh ứng viên mới. Nó không còn dùng cấu trúc cập nhật cổ điển cố định, mà để chính "cấu trúc cập nhật" trở thành biến có thể tìm kiếm. Chỉnh hệ số học chỉ thay đổi cường độ hành vi, còn thay đổi cách kết hợp thành phần mới thay đổi hình thái hành vi.

EvoGO: Để phản hồi lịch sử quyết định cấu trúc thay đổi theo hướng nào

EvoGO tập trung vào việc đưa phản hồi lịch sử vào lộ trình tiến hóa cấu trúc: các quỹ đạo tìm kiếm và bản ghi hiệu suất trước đây không còn chỉ dùng để "chọn lời giải", mà dùng để quyết định "cấu trúc sẽ thay đổi theo hướng nào ở bước tiếp theo". Nhờ đó, phản hồi chuyển từ bộ lọc kết quả thành vô lăng định hướng cập nhật cấu trúc — nó thay đổi hướng của ứng viên cấu trúc ở vòng tiếp theo, chứ không chỉ chọn một kết quả tốt trong một loạt ứng viên đã hoàn thành.

Khung xương hai tầng chung và ý nghĩa kỹ thuật

Cả hai chia sẻ cùng một khung xương: thuật toán tầng trong chạy trên nhiệm vụ thực tế, tầng ngoài tiến hóa cấu trúc dựa trên hiệu suất của tầng trong. Tiền đề then chốt là mật độ mẫu — GPU chạy song song hàng loạt nhiều nhiệm vụ tầng trong, khiến mẫu đối chiếu "cấu trúc — hiệu suất" đủ dày đặc, nhờ đó lựa chọn ở tầng ngoài mới có ý nghĩa thống kê và không bị nhiễu loạn bởi một lần chạy đơn lẻ chi phối.

Ý nghĩa kỹ thuật
Thuật toán chuyển từ "lựa chọn tiên nghiệm một lần" thành "đối tượng có thể được cải tiến liên tục". Cái giá phải trả là: tiến hóa ở tầng cấu trúc vốn dĩ mang lại không gian tìm kiếm lớn hơn và chi phí đánh giá cao hơn, nên tính khả thi của nó phụ thuộc vào nền tảng song song tensor hóa — đây cũng chính là động lực trực tiếp cho chủ đề GPU song song ở phần tiếp theo.