MetaDE: Kiến trúc lồng ghép của thuật toán tối ưu thuật toán

Trong bài trước, hệ thống tiến hóa không ngừng tích lũy năng lực nhờ vòng lặp khép kín “sinh — đánh giá — chọn lọc — kế thừa”. Bài này đẩy tư tưởng đó tiến thêm một tầng nữa: không chỉ để thuật toán giải bài toán, mà để thuật toán cải tiến chính thuật toán.MetaDE chính là một kiến trúc tiến hóa lồng ghép như vậy — nó tách Differential Evolution (DE) thành hai tầng trong và ngoài, biến “thuật toán tối ưu thuật toán” thành một quá trình tính toán có thể thực thi.

I. Phân công hai tầng: ai giải bài toán, ai tiến hóa

MetaDE tổ chức DE thành hai tầng trong và ngoài, đối tượng làm việc của hai tầng hoàn toàn khác nhau:

DE tầng trong (tầng nhiệm vụ): hướng tới nhiệm vụ tối ưu thực tế, duy trì quần thể lời giải ứng viên, lặp đi lặp lại đột biến, lai ghép và chọn lọc, từng bước tiến gần lời giải chất lượng cao cho nhiệm vụ. Nó trả lời câu hỏi “bài toán này được giải thế nào”.
DE tầng ngoài (tầng meta): hướng tới chính thuật toán, mỗi cá thể trong quần thể không phải là lời giải nhiệm vụ mà là một bộ cấu hình “chiến lược đột biến + tham số” hoàn chỉnh, ví dụ dùng phương thức đột biến nào, hệ số tỷ lệ và xác suất lai ghép nhận giá trị bao nhiêu. Nó trả lời câu hỏi “bộ cấu hình thuật toán này có dùng tốt không”.

Vì vậy tầng ngoài không trực tiếp tối ưu biến nhiệm vụ, biến nhiệm vụ luôn được giao cho tầng trong xử lý; tầng ngoài chỉ thay đổi “sổ tay hướng dẫn công việc” của tầng trong.

II. Vòng lặp khép kín tương tác: gửi cấu hình xuống và truyền hiệu năng ngược lên

Hai tầng được ghép nối bởi một kênh hai chiều, tạo thành vòng lặp khép kín: tầng ngoài trước tiên tạo ra một bộ cấu hình thuật toán, gửi (→) xuống tầng trong; tầng trong chạy trên nhiệm vụ theo cấu hình đó, sau khi kết thúc trả hiệu năng nhiệm vụ (→) về tầng ngoài; tầng ngoài dựa vào đó giữ lại và tái tổ hợp các cấu hình có hiệu năng tốt hơn, rồi tạo ra cấu hình cho vòng tiếp theo. Toàn bộ quy trình có thể tóm gọn: cấu hình tầng ngoài → tầng trong giải → hiệu năng nhiệm vụ → tầng ngoài cập nhật, lặp đi lặp lại.

Vòng lặp khép kín này mang lại một tính chất then chốt: chiến lược đột biến và tham số của thuật toán tầng trong không còn do con người thiết lập một lần rồi cố định bất biến, mà liên tục được viết lại theo quá trình tìm kiếm của tầng ngoài, nhờ đó thuật toán có được kênh tự cải tiến.

III. Tiền đề khả thi: song song hóa và cân đối chi phí

Cấu trúc lồng ghép không phải là không có cái giá. Mỗi lần đánh giá tầng ngoài đều phải chạy trọn vẹn một bộ cấu hình trên nhiệm vụ, chi phí đánh giá bị khuếch đại rõ rệt; quần thể tầng ngoài càng lớn, tổng chi phí càng cao. Đây chính là lý do MetaDE phụ thuộc vào song song hóa bằng GPU: nhiều bộ cấu hình tầng trong có thể được đánh giá đồng thời, thời gian cần cho một vòng lặp tầng ngoài được rút ngắn đáng kể, nhờ đó tiến hóa meta lồng ghép mới khả thi trong kỹ thuật. Ngược lại, nếu tài nguyên song song sẵn có không đủ, việc thu nhỏ quy mô tầng ngoài hoặc giảm độ chính xác đánh giá tầng trong thường thực tế hơn là mở rộng tìm kiếm một cách mù quáng.

Hiểu lầm thường gặp

Đánh đồng MetaDE với “tinh chỉnh tham số thủ công” là không chính xác. Tinh chỉnh thủ công là việc con người thử sai một lần từ bên ngoài vòng lặp, còn MetaDE đưa chính cấu hình vào vòng lặp tiến hóa: cấu hình được sinh ra, đánh giá và tái tổ hợp liên tục, đồng thời đối tượng tìm kiếm là tổ hợp “chiến lược đột biến + tham số” chứ không chỉ là một vài giá trị số.

Kiến trúc tiến hóa lồng ghép MetaDE

Hình minh họa trình bày cấu trúc hai tầng trong và ngoài của MetaDE: cá thể trong quần thể tầng meta ngoài là một bộ chiến lược đột biến và cấu hình tham số hoàn chỉnh, chịu trách nhiệm tiến hóa cấu hình thuật toán; tầng nhiệm vụ trong duy trì quần thể lời giải ứng viên theo cấu hình mà tầng ngoài gửi xuống và giải nhiệm vụ tối ưu thực tế. Hai tầng được ghép nối qua kênh hai chiều, tầng ngoài gửi cấu hình xuống, tầng trong truyền hiệu năng nhiệm vụ ngược lên, tầng ngoài dựa vào đó giữ lại và tái tổ hợp các cấu hình tốt hơn, tạo thành vòng lặp khép kín giúp thuật toán tự cải tiến.

Câu hỏi 1

Trong cấu trúc lồng ghép của MetaDE, nhiệm vụ trực tiếp của DE tầng trong là gì?

Lặp lời giải ứng viên trên nhiệm vụ tối ưu cụ thể và đưa ra hiệu năng nhiệm vụ

Tiến hóa chiến lược đột biến và tham số mà thuật toán tầng trong sử dụng

Quyết định quy mô quần thể tầng ngoài và số lượng thiết bị song song khả dụng

Đánh giá chất lượng quá trình tìm kiếm của tầng ngoài

Câu hỏi 2

Mỗi cá thể trong quần thể DE tầng ngoài đại diện cho điều gì?

Một hàm mục tiêu cố định bất biến

Một bộ chiến lược đột biến và cấu hình tham số của DE tầng trong

Bản ghi thời gian tiêu tốn cho một lần đánh giá nhiệm vụ tầng trong

Một lời giải ứng viên nhiệm vụ cần giải

Câu hỏi 3

Trong vòng lặp khép kín tương tác giữa hai tầng trong và ngoài, thông tin then chốt truyền từ tầng trong về tầng ngoài là gì?

Thiết lập xác suất lai ghép của quần thể tầng ngoài

Giá trị khởi tạo của cấu hình thuật toán tầng trong

Phản hồi hiệu năng mà tầng trong thu được sau khi chạy trên nhiệm vụ

Tình trạng chiếm dụng bộ nhớ của thiết bị song song

Câu hỏi 4

Tại sao song song hóa bằng GPU đặc biệt then chốt đối với việc triển khai MetaDE trong kỹ thuật?

Vì chỉ GPU mới có thể thực hiện đột biến và chọn lọc của Differential Evolution

Vì đánh giá lồng ghép làm chi phí tính toán tăng gấp bội, song song hóa có thể rút ngắn chi phí thời gian tìm kiếm của tầng meta

Vì song song hóa đảm bảo tầng ngoài chắc chắn tìm được cấu hình tối ưu toàn cục

Vì song song hóa có thể miễn trừ việc đánh giá cấu hình tầng trong

Câu hỏi 5

Phát biểu nào dưới đây mô tả chính xác sự khác biệt giữa MetaDE với “tinh chỉnh tham số thủ công” hoặc tìm kiếm lưới một lần?

Hai cách hoàn toàn tương đương, chỉ khác tên gọi

MetaDE để tầng ngoài trực tiếp tối ưu biến nhiệm vụ, tầng trong chỉ chịu trách nhiệm ghi lại kết quả

MetaDE chỉ tìm kiếm tham số dạng số, không liên quan đến chiến lược đột biến

MetaDE đưa cấu hình thuật toán vào vòng lặp tiến hóa, cấu hình được sinh ra, đánh giá và tái tổ hợp liên tục

Tình huống: Dùng MetaDE tiến hóa bộ giải tầng trong

Đọc tình huống và trả lời hai câu hỏi dưới đây.

Một nhóm cần tìm lời giải chất lượng cao cho một nhiệm vụ tối ưu tuyến đường logistics. Họ không còn thiết lập thủ công chiến lược đột biến và tham số của Differential Evolution nữa, mà áp dụng MetaDE: DE tầng ngoài duy trì một số bộ cấu hình “chiến lược đột biến + tham số”, DE tầng trong chạy trên nhiệm vụ theo cấu hình được giao và trả về chất lượng tuyến đường cùng thời gian tiêu tốn. Nhóm chỉ có một máy chủ GPU 8 card, ngân sách cho một lần đánh giá trọn vẹn có hạn.

1. Hãy chỉ ra trong tình huống này, nội dung nào thuộc không gian tìm kiếm của tầng ngoài, nội dung nào thuộc quá trình giải của tầng trong; và giải thích giá trị của việc đưa chiến lược đột biến vào tiến hóa ở tầng ngoài thay vì cố định thủ công.

Trả lời:
Không gian tìm kiếm của tầng ngoài là “tập hợp các cấu hình thuật toán”, tức là dùng chiến lược đột biến nào cùng các giá trị tham số tương ứng (như hệ số tỷ lệ, xác suất lai ghép), tầng ngoài chọn lọc và tái tổ hợp xoay quanh các cấu hình này. Quá trình giải của tầng trong là duy trì lời giải ứng viên trên nhiệm vụ tối ưu tuyến đường cố định, lặp đi lặp lại đột biến, lai ghép và chọn lọc, rồi xuất ra chất lượng lời giải cùng các hiệu năng nhiệm vụ khác. Giá trị của việc đưa chiến lược đột biến vào tiến hóa ở tầng ngoài nằm ở chỗ: đối tượng tìm kiếm mở rộng từ “một vài giá trị số” sang “tổ hợp chiến lược và tham số”. Khi cấu trúc nhiệm vụ khác nhau, hoặc khi tìm kiếm ở các giai đoạn khác nhau (giai đoạn đầu cần khám phá nhiều hơn, giai đoạn sau cần hội tụ nhiều hơn), chiến lược phù hợp tự nó cũng thay đổi; giao cho tầng ngoài tiến hóa sẽ tự động hoàn thành việc chuyển đổi chiến lược này, tránh kết quả dưới mức tối ưu và việc thử sai lặp lại do con người cố định một chiến lược duy nhất trong thời gian dài.

2. Đánh giá lồng ghép làm tổng thời gian tiêu tốn tăng lên rõ rệt. Hãy kết hợp song song hóa bằng GPU và kiểm soát ngân sách đánh giá, đưa ra biện pháp cụ thể để kiến trúc này khả thi, đồng thời giải thích những đánh đổi trong đó.

Trả lời:
Biện pháp cụ thể: (1) Đánh giá song song theo lô — phân bổ đồng thời nhiều bộ cấu hình của một lô tầng ngoài lên nhiều GPU để chạy DE tầng trong, biến thời gian thực (wall-clock) của một vòng lặp tầng ngoài từ “cộng dồn tuần tự” thành “lấy giá trị lớn nhất khi song song”, rút ngắn đáng kể thời gian tìm kiếm của tầng meta; (2) Đánh giá phân cấp — tầng trong trước tiên dùng quy mô quần thể nhỏ hơn hoặc ít vòng lặp hơn để đánh giá nhanh, chỉ đánh giá trọn vẹn đối với số ít cấu hình nổi bật, tạo thành sàng lọc hai cấp từ thô đến tinh; (3) Hạn chế phạm vi tìm kiếm — giới hạn quy mô quần thể tầng ngoài và số vòng lặp, đồng thời lưu đệm và tái sử dụng các cấu hình đã đánh giá để tránh tính toán trùng lặp. Đánh đổi: tầng trong đánh giá càng thô, nhiễu của phản hồi hiệu năng truyền về càng lớn, tầng ngoài có thể chọn phải cấu hình “may mắn vượt trội”; mức độ song song càng cao, chi phí bộ nhớ và điều phối càng lớn, hơn nữa song song hóa rút ngắn thời gian thực (wall-clock) chứ không giảm tổng khối lượng tính toán. Vì vậy cần cân bằng giữa độ chính xác đánh giá tầng trong, độ rộng tìm kiếm tầng ngoài và ngân sách phần cứng, chứ không phải cứ mở rộng tìm kiếm.