Khi quy mô tính toán không ngừng mở rộng, cách tạo ứng viên đã thay đổi một cách căn bản. Trước đây, phương án ứng viên thường dựa vào việc liệt kê thủ công hoặc một lần xuất kết quả từ mô hình; ngày nay,khám phá song song bằng GPU,kiến tạo có cấu trúc bằng mô hình lớnvàmô hình tham gia mã hóa và đột biếncùng nhau mở rộng nguồn ứng viên. Vấn đề cốt lõi không còn chỉ là “có thể tạo ra một câu trả lời hay không”, mà là “những thay đổi nào có thể tạo ra, có thể quan sát, có thể giữ lại, có thể kế thừa”.
Ba nguồn mới tạo ứng viên
- Khám phá song song bằng GPU:Vô số khả năng được khám phá đồng thời, việc tạo ứng viên chuyển từ thử sai tuần tự sang tìm kiếm song song trong không gian. Ví dụ, lấy mẫu đồng thời hàng nghìn đến hàng vạn điểm trong không gian tham số và đánh giá song song.
- Kiến tạo có cấu trúc bằng mô hình lớn:Mô hình lớn có thể hiểu ngôn ngữ tự nhiên và mã nguồn, kiến tạo ra các phương án ứng viên có cấu trúc phức tạp, chứ không chỉ tạo ra câu trả lời dạng văn bản. Nó có thể tạo ra chương trình hoàn chỉnh, ca kiểm thử hoặc cấu hình hệ thống.
- Mô hình tham gia mã hóa và đột biến:Cách mã hóa và đột biến thủ công bắt đầu được mô hình tham gia tạo ra. Nguồn ứng viên mở rộng từ quy tắc do con người viết sang quy tắc và cấu trúc do mô hình tạo, ví dụ để mô hình đề xuất toán tử đột biến hoặc chiến lược mã hóa mới.
Định nghĩa ranh giới trước khi bước vào tiến hóa
Trước khi ứng viên bước vào tiến hóa, cần phải làm rõ các ranh giới sau:
- Đối tượng nào được phép thay đổi:Xác định đối tượng có thể tiến hóa: là cấu trúc mã, siêu tham số, hay toàn bộ kiến trúc?
- Kết quả nào có thể được quan sát:Định nghĩa các chỉ số có thể quan sát, ví dụ độ chính xác, độ trễ, mức tiêu thụ tài nguyên, v.v.
- Tiêu chuẩn nào quyết định một thay đổi nên được giữ lại:Thiết lập tiêu chuẩn giữ lại, thường là một hàm đánh giá đa mục tiêu hoặc ngưỡng.
Chiến lược đánh giá phân tầng
Việc đánh giá cần được phân tầng:đánh giá song song được thì cố gắng song song hóa;đánh giá có chi phí cao thì dùng mô hình thay thế để giảm bớt. Ví dụ, các chỉ số hiệu năng đơn giản có thể được tính song song trên GPU, còn những đánh giá đắt đỏ cần tương tác với môi trường thực thì dùng mô hình thay thế để xấp xỉ, từ đó mở rộng phạm vi tìm kiếm trong điều kiện tính toán hạn chế.
Nhận diện cấu trúc có thể tiến hóa và lưu giữ thành quả
Cần nhận diện trong các phương pháp hiện có những cấu trúc nào có thể được tiến hóa tiếp, chứ không chỉ điều chỉnh tham số số học. Ví dụ, lấy cách kết nối mô-đun trong mạng nơ-ron và cấu trúc luồng điều khiển của mã làm đối tượng có thể đột biến. Đồng thời, phải lưu giữ mã, kiểm thử và bằng chứng xác minh để công việc vòng sau không phải bắt đầu lại từ đầu, tránh lặp lại lao động.
Kết nối vào vòng lặp EvoX
Khi các ranh giới trên đã rõ ràng, nhiệm vụ có thể được kết nối vào vòng lặp EvoX:Mô hình đề xuất ứng viên,Công cụ thực thi thay đổi,Môi trường trả về phản hồi,Cơ chế tiến hóa hoàn tất lựa chọn,Runtime tổ chức tính toán,hệ thống bền vững kế thừa những thành quả đã được kiểm nghiệm. Như vậy, các thành phần thông minh phân tán được tích lũy liên tục, hình thành nên một hệ thống không ngừng tiến hóa.
Nguồn mới tạo ứng viên và vòng lặp EvoXHình minh họa hợp nhất ba con đường — khám phá song song bằng GPU, kiến tạo có cấu trúc bằng mô hình lớn, mô hình tham gia mã hóa và đột biến — vào cùng một lối vào, cho thấy nguồn ứng viên đã chuyển từ thử sai tuần tự sang tìm kiếm song song trong không gian và kiến tạo có cấu trúc. Ứng viên sau đó qua định nghĩa ranh giới và đánh giá phân tầng để kết nối vào vòng lặp EvoX, do mô hình đề xuất ứng viên, công cụ thực thi, môi trường phản hồi, tiến hóa lựa chọn và lưu giữ những thành quả đã được kiểm nghiệm.
