Trong thực tiễn tính toán tiến hóa giai đoạn đầu, đối tượng được "tiến hóa" hầu như đều làtham số số——tốc độ học, kích thước batch, độ mạnh regularization, cách khởi tạo trọng số. Không gian tìm kiếm chỉ là một nhóm số, cách đánh giá là một lần huấn luyện cộng một lần kiểm định. Khi quy mô năng lực tính toán tăng lên và năng lực mô hình lớn chín muồi, các đối tượng có thể tiến hóa đã mở rộng rõ rệt: chương trình, cấu trúc mô hình, cơ chế thuật toán, thậm chí cả một khốitrạng thái kỹ nghệ phần mềm(cấu hình, phiên bản phụ thuộc, hợp đồng giao diện, chiến lược triển khai và vận hành).
Con đường mở rộng này có thể được biểu diễn bằng một chuỗi mũi tên rõ ràng: tham số số → chương trình và cấu trúc mô hình → trạng thái kỹ nghệ phần mềm và ứng viên cấp hệ thống. Tầng càng về bên phải, năng lực biểu đạt càng mạnh, càng bao phủ nhiều loại thay đổi hơn, nhờ đó tiến hóa cấp hệ thống trở nên khả thi.
Ba tầng đối tượng tiến hóa, mỗi tầng có cái giá khác nhau
- Tầng tham số số: ứng viên chỉ là một nhóm số, sinh rẻ, đánh giá nhanh, nhưng nó chỉ trả lời được "tinh chỉnh tốt hay không", không thể bù đắp một cơ chế vốn đã thiếu.
- Tầng chương trình và cấu trúc mô hình: ứng viên là cấu trúc mạng, tổ hợp toán tử, luồng công việc gợi ý hoặc bản vá mã; thay đổi sẽ thay đổi "hệ thống có thể làm gì", chứ không chỉ "làm chính xác đến đâu".
- Tầng trạng thái kỹ nghệ phần mềm: ứng viên là cấu hình, phiên bản phụ thuộc, hợp đồng giao diện và chiến lược triển khai, trực tiếp quyết định hệ thống có thể vận hành ổn định và có thể tái lập hay không.
Chuyển dịch trọng tâm: từ "làm sao sinh ứng viên" đến "làm sao thực thi và đánh giá"
Khi ứng viên chuyển từ số thành chương trình, bước "sinh ứng viên" lại không còn là điểm nghẽn nữa: mô hình lớn có thể sản xuất hàng loạt cấu trúc, cơ chế và bản vá. Yếu tố thực sự quyết định tiến hóa có hiệu quả hay không chính làcơ chế thực thi và đánh giá——ai có thể thực sự chạy được ứng viên, ai có thể trong mức chi phí chấp nhận được phán đoán nó có đáng giữ lại hay không.
Năng lực biểu đạt càng mạnh, gánh nặng đánh giá càng lớn. Một tham số số chỉ cần một lần huấn luyện là có thể cho điểm; còn một bản vá mã cần cách ly sandbox, kiểm thử hồi quy và đối chiếu chuẩn cơ sở mới có thể trả lời ba câu hỏi: nó có thực sự hiệu quả không, có mang lại rủi ro không, kết quả có thể tái lập không. Sandbox, kiểm thử hồi quy và chuẩn cơ sở chính là những thiết bị kỹ nghệ dùng để ràng buộc chi phí, rủi ro và khả năng tái lập, đồng thời cũng giúp các thay đổi được giữ lại hoặc loại bỏ một cách ổn định.
Cân bằng kỹ nghệ: nhiều ứng viên hơn không có nghĩa là tiến hóa tốt hơn
Trong thực tiễn nhóm, con đường phổ biến là trước tiên tinh chỉnh tốc độ học và siêu tham số, rồi dần mở rộng sang tìm kiếm cấu trúc mạng, tổ hợp toán tử, luồng công việc gợi ý hoặc bản vá mã. Mỗi khi mở rộng thêm một tầng, đều phải đồng thời trả lời: đánh giá tốn bao nhiêu năng lực tính toán và thời gian? Ứng viên thất bại có làm hỏng hệ thống hiện có không? Kết quả tương tự lần sau có thể tái lập không? Chỉ khi đạt được sự cân bằng giữa năng lực biểu đạt, chi phí đánh giá, khả năng tái lập và tính an toàn, tiến hóa cấp hệ thống mới thực sự khả thi.
Ba tầng mở rộng của đối tượng tiến hóaChuỗi mũi tên trong hình đi từ tham số số đến chương trình và cấu trúc mô hình, rồi đến trạng thái kỹ nghệ phần mềm và ứng viên cấp hệ thống: càng về bên phải, càng nhiều đối tượng có thể thay đổi, năng lực biểu đạt càng mạnh. Nhưng cái giá cũng tăng theo: tham số số chỉ cần một lần huấn luyện để cho điểm, còn bản vá mã phải cần cách ly sandbox, kiểm thử hồi quy và đối chiếu chuẩn cơ sở mới có thể phán đoán tính hiệu quả, rủi ro và khả năng tái lập.
