7

รากฐานทางวิศวกรรมที่ประกอบด้วย GPU และโมเดลขนาดใหญ่

AI999第2课:演化计算的源流与多路线交汇
00:00

หน้านี้กล่าวถึงรากฐานทางวิศวกรรมที่ทำให้ EvoX สามารถดำเนินการสำรวจเชิงวิวัฒนาการในวงกว้างได้ โดยGPU ให้พลังประมวลผลแบบขนานความเข้มสูง และโมเดลขนาดใหญ่ ให้ความสามารถในการเข้าใจและสร้างภาษาธรรมชาติ โค้ด และบริบทของโปรเจกต์ เมื่อทั้งสองรวมกัน ขนาดของการประมวลผลก็ถูกเปิดออก แหล่งที่มา จำนวนของคำตอบที่เป็นไปได้ และขอบเขตการสำรวจที่สามารถดำเนินการได้ ล้วนเปลี่ยนแปลงไปอย่างสิ้นเชิง

ชั้นโมเดลขนาดใหญ่|จุดเชื่อมเชิงความหมายและการเชื่อมโยงบริบทภาษาธรรมชาติ: การเข้าใจเจตนาการเข้าใจและการสร้างโค้ดการเชื่อมโยงบริบทของโปรเจกต์เจตนาการวิจัย → ร่างตัวเลือกข้อจำกัดและบริบทไหลกลับรากฐานทางวิศวกรรม EvoX|การค้นหา · การคัดเลือก · วงจรป้อนกลับการสร้างตัวเลือกร่างและตัวดำเนินการการประเมินแบบขนานปริมาณงานแบบกลุ่มการป้อนกลับการเขียนผลลัพธ์กลับวิวัฒนาการต่อการวนซ้ำแบบวงจรปิดวงจรปิดทำงานส่งตัวเลือกแบบกลุ่มลงไปผลการประเมินแบบขนานชั้นประมวลผลขนาน GPU|การประเมินแบบกลุ่มและปริมาณงานขนาดใหญ่การประเมินแบบขนานเป็นกลุ่มการวนซ้ำปริมาณงานสูงขยายขอบเขตการสำรวจ

พลังประมวลผลเปิดอะไรขึ้น: จากแบบอนุกรมทีละน้อย สู่การสำรวจพร้อมกันในวงกว้าง

ภายใต้ข้อจำกัดด้านพลังประมวลผล การประเมินคำตอบที่เป็นไปได้หนึ่งตัวมักต้องรอต่อคิว การค้นหาจึงดำเนินไปได้เพียงแบบกลุ่มเล็กและแบบอนุกรม การ "ลองเพิ่มอีกสักสองสามตัว" จึงเป็นเรื่องฟุ่มเฟือย ความสามารถแบบขนานของ GPU ผลักดันการประเมินและการค้นหาไปสู่การทำพร้อมกันในวงกว้าง: ประชากรหรือคำตอบที่เป็นไปได้จำนวนมากสามารถส่งเข้าสู่การประเมินแบบขนานได้ในคราวเดียว และผลป้อนกลับก็ไหลกลับมาแทบจะพร้อมกัน ดังนั้น "การลองความเป็นไปได้จำนวนมากพร้อมกัน" จึงไม่ใช่เครื่องมือพิเศษอีกต่อไป แต่กลายเป็นความสามารถทางวิศวกรรมโดยปริยาย

  • ปริมาณงาน: การประเมินแบบกลุ่มบีบเวลารอในแต่ละรอบการวนซ้ำให้อยู่ในระดับที่ยอมรับได้ ทำให้วงจรวิวัฒนาการทำงานที่ความถี่สูงได้ แทนที่จะถูกขั้นตอนการประเมินฉุดให้ช้าลง
  • ขนาด: จำนวนตัวเลือกที่สามารถสำรวจพร้อมกันเพิ่มขึ้น ปริภูมิสมมติฐานที่การค้นหาครอบคลุมได้ก็ขยายตามไปด้วย ขอบเขตการสำรวจเปลี่ยนจาก "ลองผิดลองถูกเพียงเล็กน้อย" เป็น "แผ่ขยายออกเป็นกลุ่มก้อน"

แหล่งที่มาของคำตอบที่เป็นไปได้เปลี่ยนไปอย่างไร

หลังจากขนาดการประมวลผลถูกเปิดออก แหล่งที่มาของตัวเลือกก็เปลี่ยนจาก "การออกแบบด้วยมือ + การสุ่มตัวอย่างจำนวนน้อย" ไปสู่รูปแบบผสม:การประมวลผลแบบขนานป้อนตัวเลือกเป็นกลุ่ม และ การสร้างและปรับแก้ของโมเดลขนาดใหญ่ ร่วมกันสร้างตัวเลือก โมเดลขนาดใหญ่สามารถเข้าใจภาษาธรรมชาติ โค้ด และบริบทของโปรเจกต์ จึงเปลี่ยนเจตนาการวิจัยให้เป็นตัวเลือกที่นำไปใช้ได้ สคริปต์ หรือร่างตัวดำเนินการได้อย่างรวดเร็วยิ่งขึ้น พร้อมทั้งรักษาการเชื่อมโยงกับบริบทของโปรเจกต์ ส่วนฝั่ง GPU มีหน้าที่ตรวจสอบร่างเหล่านี้เป็นกลุ่ม แล้วป้อนผลลัพธ์กลับเข้าสู่กระบวนการค้นหา ทั้งสองทำหน้าที่ต่อเนื่องกัน ครอบคลุมทั้ง "การสร้าง" และ "การตรวจสอบ"

รากฐานไม่แทนที่อัลกอริทึมวิวัฒนาการ

ต้องระบุให้ชัดเจนว่าชั้นนี้เป็นรากฐานไม่ใช่ตัวอัลกอริทึมเอง สิ่งที่มันรับผิดชอบคือปริมาณงาน, จุดเชื่อมเชิงความหมาย และ การเชื่อมโยงบริบท ส่วนการค้นหา การคัดเลือก และวงจรป้อนกลับยังคงเป็นความรับผิดชอบของอัลกอริทึมวิวัฒนาการ การแบ่งงานให้ชัดเจนทำให้เรามีวิจารณญาณในการปฏิบัติ: เมื่อระบบใดทำงานได้ไม่ดี ต้องพิจารณาก่อนว่าสิ่งที่ขาดคือปริมาณงานของพลังประมวลผล จุดเชื่อมเชิงความหมาย หรือกลไกวงจรปิดเอง

บนเส้นทางวิศวกรรมเดียวกัน รากฐานยังต้องรองรับ การทำงานร่วมกันของหลาย Agent และการแยกงานแบบเรียกซ้ำ รูปแบบทางวิศวกรรมเช่นนี้: เป้าหมายที่ซับซ้อนถูกแยกออกเป็นงานย่อยหลายงาน โดย Agent ต่างๆ รับผิดชอบและขับเคลื่อนแยกกัน และเพื่อให้งานย่อยเหล่านี้ไม่หลุดจากกัน จำเป็นต้องมีการจัดเก็บถาวรระดับโปรเจกต์——สะสมเป้าหมาย ข้อจำกัด ผลลัพธ์ промежуточный และผลการประเมินไว้ในระดับโปรเจกต์ เพื่อให้สามารถข้ามบริบทของ Agent สืบทอดต่อไปได้ มิฉะนั้นทุกครั้งที่เปลี่ยน Agent บริบทก็ต้องจัดแนวใหม่ การแยกงานแบบเรียกซ้ำจะเสื่อมลงเป็นการเรียกใช้ครั้งเดียวที่ไม่เกี่ยวข้องกัน

ชี้แจงแนวคิด
พลังประมวลผลและโมเดลขยายขอบเขตการสำรวจ แต่ไม่ได้นำมาซึ่งความถูกต้องโดยอัตโนมัติ ตัวเลือกจะมีมากมายเพียงใด ก็ยังต้องอาศัยผลป้อนกลับจากสภาพแวดล้อมและการคัดเลือกจากการประเมินเพื่อกรองให้กลายเป็นความสามารถที่สะสมได้อย่างยั่งยืน หน้านี้กำหนดขอบเขตไว้เพียงชั้น "รากฐานทางวิศวกรรม" อธิบายก่อนว่าพลังประมวลผลและโมเดลขยายขอบเขตการสำรวจอย่างไร ส่วนรายละเอียดการนำไปใช้ เช่น วิธีการจัดระเบียบของ Runtime การกำหนดขอบเขตของวัตถุเชิงวิวัฒนาการ จะกล่าวถึงในลำดับถัดไป