5

Tổ chức dạng tensor cho quần thể, đánh giá và trạng thái

AI999第4课:现代计算底座与张量化并行演化
00:00

Trong triển khai kỹ thuật của thuật toán tiến hóa,tổ chức dạng tensoránh xạ thống nhất "quần thể là gì, được đánh giá ra sao, đang chạy đến bước nào" từ các đối tượng và danh sách rời rạc thành tensor có quy tắc. Bản chất là thiết lập khế ước dữ liệu thống nhất cho quần thể, đánh giá và trạng thái, giúp tính toán theo lô, lưu trú trên thiết bị và điều phối song song về sau có chung ngữ nghĩa bộ nhớ.

Tổ chức dạng tensor cho quần thể, đánh giá và trạng tháiÁnh xạ thống nhất lời giải ứng viên, đánh giá độ thích nghi và trạng thái thuật toán thành tensor có thể tính toán theo cả lôTổ chức tuần tự truyền thốngĐối tượng và danh sách lưu trữ phân tánDanh sách ứng viênDanh sách / tập đối tượngĐánh giá từng cá thểGọi hàm đánh giá theo vòng lặpTrạng thái phân tánVô hướng / biến toàn cụcVòng lặp từng cá thểTruyền qua lại giữa máy chủ và thiết bị thường xuyênTensor hóatổ chức dạng tensorQuần thể · Đánh giá · Trạng thái thống nhất thành tensor có quy tắc, tạo khế ước dữ liệu thống nhấtNDTensor quần thể[N, D]N là chiều lô, D là chiều quyết địnhĐột biến và lai ghép theo lôHoàn thành trong một lầnNMKMa trận đánh giá[N, M] hoặc [N, M+K]M mục tiêu, K ràng buộcVector hóa hàm đánh giáTrả về kết quả cả lôVùng chứa tensor trạng tháiVô hướng hoặc tensor nhỏThế hệ, lời giải tối ưu, trạng thái số ngẫu nhiênLưu trú thống nhất trên thiết bịCó thể checkpoint và tái tạoVí dụ: N = 1024, D = 50, M = 2 · Quần thể [1024, 50], đánh giá [1024, 2]Chiều lô ở ngoài: toán tử vector hóa cả lô theo chiều NCá thể biến độ dài: đệm + mặt nạ hoặc phân nhómTrạng thái thống nhất: có thể tái tạo, theo dõi, cập nhật theo lô

Tensor hóa quần thể: mã hóa thành [N, D]

Tổ chức N lời giải ứng viên theo chiều lô thành tensor mã hóa có kích thước [N, D]. Biến liên tục, biến rời rạc hoặc mã hóa nhiều đoạn có thể biểu diễn bằng tensor trường hoặc khối nhóm, đồng thời giữ nguyên kiểu dữ liệu và vị trí thiết bị thống nhất.

  • Chiều lô ở ngoài: thường đặt N ở lớp ngoài cùng, để cùng một toán tử được thực thi vector hóa trên toàn bộ lô.
  • Phân khối trường: nếu cá thể gồm nhiều đoạn tham số, có thể tách thành [N, D1] + [N, D2] + … và giữ lưu trữ liên tục.
  • Xử lý biến độ dài: cá thể biến độ dài được xử lý bằng đệm cộng mặt nạ hoặc phân nhóm, ngăn cấu trúc không đồng nhất phá vỡ tính toán theo lô.

Ma trận hóa kết quả đánh giá: [N, M] và [N, K]

Một lần đánh giá theo lô tạo ra ma trận độ thích nghi [N, M]; đa mục tiêu, đa ràng buộc và chỉ số bổ sung có thể xếp song song thành [N, M+K] hoặc lưu trữ tách bảng, tránh gọi hàm đánh giá theo vòng lặp từng cá thể.

Quản lý thống nhất tensor trạng thái

Thế hệ, trạng thái số ngẫu nhiên, siêu tham số chiến lược, lời giải tối ưu, bộ đệm lịch sử, trạng thái xếp hạng hoặc lấy mẫu cũng được đưa vào tensor hoặc vùng chứa trạng thái có cấu trúc, đảm bảo có thể tái tạo, theo dõi và cập nhật theo lô.

Ví dụ: N=1024, D=50, M=2
Quần thể được biểu diễn bằng tensor [1024, 50], giá trị đánh giá là tensor [1024, 2], ràng buộc là [1024, K]. Thế hệ generation, lời giải tối ưu best_x, trạng thái ngẫu nhiên rng_state được lưu trú thống nhất trên thiết bị dưới dạng tensor trạng thái. Mỗi thế hệ cập nhật có thể hoàn thành toàn bộ trên cùng chiều lô, thay vì vòng lặp Python từng cá thể.

Lợi ích và giới hạn của tổ chức tensor

Tensor thống nhất giúp giảm truyền qua lại giữa máy chủ và thiết bị, giảm chi phí vòng lặp và tạo nền tảng dữ liệu cho song song hóa toán tử về sau; nhưng cần xử lý tính hiệu lực của mặt nạ, lãng phí đệm, tăng quy mô đa mục tiêu và chi phí đồng bộ trạng thái.