Nút thắt hiệu suất của vòng lặp CPU tuần tự truyền thống

Quá trình tiến hóa phụ thuộc vào tính đa dạng của quần thể, mà tính đa dạng lại đồng nghĩa với việc quy mô quần thể và số lần đánh giá tăng gấp bội. Khi số lần đánh giá ứng viên lên tới hàng chục nghìn lần,vòng lặp CPU tuần tự truyền thốngliền trở thành đoạn hẹp nhất trên toàn bộ dây chuyền: mỗi lần nó chỉ xử lý một cá thể, khiến năng lực song song của phần cứng gần như bị bỏ không.

Mỗi lần một cá thể: mô hình thực thi của vòng lặp tuần tự

Cách hiện thực đơn giản nhất là coi toàn bộ quần thể như một danh sách, dùng vòng lặp lấy ra từng cá thể: lấy cá thể → giải mã thành tham số cụ thể → gọi hàm đánh giá → ghi độ thích nghi trở lại. Các vòng lặp liền kề gần như không thể chồng lấn: kết quả đánh giá chưa về thì việc ghi lại không thể tiến hành; ghi lại chưa xong thì cá thể tiếp theo không có chỗ để đặt kết quả. Vì thế các đơn vị song song như đa nhân, SIMD, GPU phần lớn thời gian ở trạng thái bỏ không, chỉ biết nhìn một cá thể chạy hết trên dây chuyền.

Chi phí thực sự đến từ đâu

Số lần đánh giá tăng tuyến tính: tổng số lần đánh giá xấp xỉ bằng quy mô quần thể × số thế hệ lặp, khi đạt mức 10⁵ thì thời gian thực của tuần tự tăng gần như tuyến tính.
Thực thi từng cá thể ở tầng trình thông dịch: vòng lặp từng cá thể, kiểm tra biên và phân phối kiểu dữ liệu mang lại chi phí hằng số cố định nhưng cao.
Truy cập bộ nhớ không liên tục và truyền dữ liệu: các cá thể được lấy ra từng cái thường không liên tục trong bộ nhớ, tỉ lệ trúng bộ đệm thấp, chi phí truyền dữ liệu bị trả giá lặp đi lặp lại.
Đồng bộ và điều phối: để lấy được cá thể tiếp theo, luồng thực thi buộc phải tạm dừng rồi khôi phục liên tục.

Quy đổi quy mô thành thời gian

Lấy ví dụ quần thể 1000, lặp 100 thế hệ, tổng cộng khoảng 100 nghìn lần đánh giá ứng viên. Nếu mỗi lần đánh giá trung bình 1 ms, chỉ riêng khâu đánh giá khi chạy tuần tự đã cần khoảng 100 giây, chưa tính chi phí tính toán toán tử và điều phối; nếu để duy trì tính đa dạng mà tăng số lần khởi động lại từ 1 lên 5 lần, chi phí tăng gần như tuyến tính lên khoảng 500 giây. Với cùng khối lượng công việc đó, nếu tổ chức theo lô và giao cho phần cứng song song xử lý, thời gian thực chủ yếu do số lô chứ không phải số cá thể quyết định.

Khi nào nút thắt này sẽ thu hẹp lại

Các điều kiện biên cũng quan trọng không kém: khi mỗi lần đánh giá cực rẻ (cấp độ micro giây) hoặc quần thể cực nhỏ (dưới mức hàng trăm), chi phí điều phối và bộ nhớ có thể vượt qua chi phí tính toán, khoảng cách giữa tuần tự và song song thu hẹp rõ rệt, lợi ích cận biên của việc tensor hóa giảm dần, nút thắt sẽ chuyển sang độ chi tiết điều phối và băng thông bộ nhớ. Vì vậy việc có đáng cải tạo mô hình thực thi hay không cần được đánh giá kết hợp giữa chi phí đánh giá và quy mô.

Nút thắt mang tính cấu trúc, không phải lỗi mã nguồn

Nút thắt hiệu suất của vòng lặp CPU tuần tự thuộc tầng mô hình thực thi: việc tinh chỉnh mã nguồn ở từng điểm riêng lẻ không thể loại bỏ nó. Muốn giải quyết triệt để, cần tái cấu trúc từ "từng cá thể" sang "từng lô" — xử lý theo lô, tensor hóa và điều phối song song, đây cũng chính là động lực trực tiếp cho thiết kế đồ thị tính toán tensor hóa về sau.

So sánh thời gian giữa tuần tự và song song

Lấy ví dụ quần thể 1000, lặp 100 thế hệ, tổng cộng khoảng 100 nghìn lần đánh giá ứng viên; khi mỗi lần đánh giá mất 1 mili giây, chỉ riêng khâu đánh giá khi chạy tuần tự đã cần khoảng 100 giây, còn khởi động lại 5 lần thì tăng gần như tuyến tính lên khoảng 500 giây. Sau khi chuyển sang tổ chức theo lô và giao cho phần cứng song song, thời gian thực chủ yếu do số lô chứ không phải số cá thể quyết định.

Câu hỏi 1

Trong tính toán tiến hóa truyền thống, việc đánh giá từng cá thể ứng viên trong vòng lặp CPU tuần tự có hạn chế chính về mô hình thực thi là gì?

Không thể thực hiện bất kỳ hình thức ghi lại hay cập nhật nào đối với quần thể

Các vòng lặp liền kề khó chồng lấn, các đơn vị song song như đa nhân, SIMD, GPU phần lớn thời gian bỏ không

Chỉ có thể xử lý biểu diễn cá thể mã hóa nhị phân

Không thể định nghĩa hàm thích nghi, do đó không thể đánh giá bất kỳ cá thể ứng viên nào

Câu hỏi 2

Quy mô quần thể 1000, lặp 100 thế hệ, mỗi lần đánh giá ứng viên trung bình mất 1 ms. Chỉ riêng khâu đánh giá khi thực thi tuần tự có thời gian thực khoảng bao nhiêu?

Khoảng 100 giây

Khoảng 1 giây

Khoảng 10 giây

Khoảng 10000 giây

Câu hỏi 3

Yếu tố nào sau đây KHÔNG thuộc các nguyên nhân làm khuếch đại chi phí hằng số của vòng lặp tuần tự?

Vòng lặp tầng trình thông dịch từng cá thể

Kiểm tra biên và phân phối kiểu dữ liệu từng cá thể

Điều phối xử lý theo lô dạng tensor hóa

Truy cập bộ nhớ không liên tục và truyền dữ liệu thường xuyên

Câu hỏi 4

Trong mô hình thực thi song song theo lô, thời gian thực để hoàn thành cùng một khối lượng công việc (ví dụ 10⁵ lần đánh giá) chủ yếu do yếu tố nào quyết định?

Số lô và thời gian mỗi lô

Tổng số cá thể ứng viên

Độ dài mã hóa quần thể

Giá trị của hạt giống ngẫu nhiên

Câu hỏi 5

Trong trường hợp nào sau đây, việc kết luận vòng lặp tuần tự là nút thắt mang tính cấu trúc có khả năng KHÔNG đúng nhất?

Cần thực hiện nhiều lần khởi động lại độc lập để duy trì tính đa dạng

Mỗi lần đánh giá giảm xuống cấp độ micro giây, và quy mô quần thể chỉ ở mức hàng trăm

Hàm đánh giá bao gồm mô phỏng vật lý độ chính xác cao đắt đỏ

Mỗi lần đánh giá mất tới cấp độ mili giây, và quy mô quần thể lên tới hàng vạn

Tình huống: Lựa chọn mô hình thực thi với một trăm nghìn lần đánh giá

Đọc tình huống và trả lời câu hỏi dựa trên nút thắt hiệu suất của vòng lặp tuần tự.

Một nhóm nghiên cứu dùng thuật toán tiến hóa để tối ưu một bộ tham số kỹ thuật: quy mô quần thể 1000, lặp 100 thế hệ, mỗi lần đánh giá một cá thể ứng viên cần gọi một lần mô phỏng trung bình mất 1 ms. Cách hiện thực hiện tại là vòng lặp CPU tuần tự truyền thống, thực thi giải mã, đánh giá và ghi lại từng cá thể một. Nhóm muốn rút ngắn mỗi vòng thí nghiệm từ hơn mười phút xuống còn vài phút mà không làm giảm chất lượng lời giải; đồng thời để duy trì tính đa dạng của quần thể, nhóm còn dự định tăng số lần khởi động lại độc lập từ 1 lên 5 lần.

Hãy ước tính thời gian thực chỉ riêng khâu đánh giá của cách hiện thực tuần tự hiện tại, và cho biết sự thay đổi khi tăng số lần khởi động lại từ 1 lên 5 lần. Từ đó đưa ra phán đoán trọng tâm tối ưu nên đặt ở đâu.

Trả lời:
Số lần đánh giá ứng viên trong một lần chạy khoảng 1000 × 100 = 10⁵ lần, nhân với 1 ms được khoảng 100 giây; khởi động lại 5 lần thì khoảng 5 × 10⁵ lần đánh giá, tức khoảng 500 giây, thời gian thực phình to gần như tuyến tính. Điều này cho thấy việc tinh chỉnh ở mức hằng số bên trong toán tử mang lại lợi ích hạn chế, trọng tâm tối ưu nên đặt ở tầng mô hình thực thi — xử lý theo lô, tensor hóa và điều phối song song, để thời gian thực do số lô chứ không phải số cá thể quyết định.

Nếu nhóm chuyển sang mô hình thực thi song song theo lô, cần xem xét thêm những điều kiện biên nào để phán đoán việc cải tạo này có đáng hay không? Hãy đưa ra ít nhất hai điểm và giải thích ảnh hưởng của chúng tới lợi ích thu được.

Trả lời:
Thứ nhất, chi phí đánh giá và quy mô: nếu mỗi lần đánh giá giảm xuống cấp độ micro giây, hoặc quần thể thu nhỏ xuống dưới mức hàng trăm, chi phí điều phối và truyền dữ liệu bộ nhớ có thể vượt qua chi phí tính toán, lợi ích song song giảm dần. Thứ hai, ràng buộc về số lô và kích thước lô: kích thước lô bị giới hạn bởi bộ nhớ hiển thị và băng thông bộ nhớ, thời gian tính toán mỗi lô; lô quá lớn sẽ làm tăng thời gian mỗi lô và chi phí đồng bộ. Thứ ba, bố cục dữ liệu và truy cập bộ nhớ: nếu các cá thể ứng viên không thể tổ chức thành tensor liên tục, có thể vector hóa, thì xử lý theo lô vẫn bị giảm hiệu quả do truy cập bộ nhớ không liên tục. Nhìn tổng thể, chỉ khi số lần đánh giá và chi phí mỗi lần đánh giá đều đủ lớn thì lợi ích của việc cải tạo mô hình thực thi mới đáng kể.