1

ขอบเขตความสามารถของโมเดลขนาดใหญ่และความจำเป็นของการวิวัฒน์ระดับระบบ

AI999第6课:系统级持续演化:Genesis 与软件世界的沉淀
00:00

ข้อสรุปหลัก:โมเดลขนาดใหญ่เป็นองค์ประกอบอัจฉริยะที่ทรงพลัง แต่ไม่ใช่ระบบที่สามารถดำรงอยู่ได้ด้วยตนเอง แม้จะมีความสามารถที่ใช้งานได้จริงในด้านการเข้าใจ การสร้าง การให้เหตุผล และการเรียกใช้เครื่องมือ จึงสามารถทำหน้าที่เป็นผู้เสนอสมมติฐานและผู้ผลิตโค้ดที่มีคุณภาพสูงได้ แต่ยังขาดกลไกด้านสถานะ เป้าหมาย และผลป้อนกลับที่จำเป็นสำหรับการวิวัฒน์อย่างต่อเนื่องตลอดวงจรชีวิต

การเปรียบเทียบระหว่างขีดความสามารถเดี่ยวของโมเดลขนาดใหญ่กับวงจรวิวัฒน์ระดับระบบด้านซ้าย: สแตกความสามารถเดี่ยวของโมเดลขนาดใหญ่สร้างเพียงภาพนิ่ง และสถานะจะถูกล้างเมื่อสิ้นสุดเซสชัน; ด้านขวา: LLM ถูกฝังเป็นโมดูลย่อยในวงจรวิวัฒน์ระดับระบบแบบ "เสนอ—ประเมิน—คัดเลือก—ตกผลึก"; ด้านล่างแสดงขอบเขตเชิงโครงสร้าง 3 ประเภท ได้แก่ สถานะ เป้าหมาย และผลป้อนกลับขอบเขตความสามารถของโมเดลขนาดใหญ่และความจำเป็นของการวิวัฒน์ระดับระบบสแตกความสามารถเดี่ยวของโมเดลขนาดใหญ่การเข้าใจการสร้างการให้เหตุผลการเรียกใช้เครื่องมือผลลัพธ์สุดท้าย (ภาพนิ่ง)สิ้นสุดเซสชัน → ล้างสถานะLLM + วงจรวิวัฒน์ระดับระบบ1เสนอ (โมดูลย่อย LLM)2ประเมิน (ลดต้นทุนด้วยตัวแบบพร็อกซี)3คัดเลือก (ถ่วงดุลหลายเป้าหมาย)4ตกผลึก (หน่วยความจำข้ามเซสชัน)ปัญญาหมู่คณะรักษาความหลากหลายของผู้สมัคร · กลับสู่ «เสนอ»แกนเปรียบเทียบภาพนิ่งของความสามารถกับกระบวนการต่อเนื่องความสามารถของโมเดลที่เพิ่มขึ้น ≠ ความสามารถของระบบที่เพิ่มขึ้น · ความสามารถคือภาพนิ่ง สภาพแวดล้อมคือกระบวนการขอบเขตเชิงโครงสร้าง 3 ประเภท1ขอบเขตด้านสถานะหน้าต่างบริบทมีจำกัดขาดหน่วยความจำถาวรข้ามเซสชัน2ขอบเขตด้านเป้าหมายปัญหาจริงมักเกี่ยวข้องกับเป้าหมายที่ขัดแย้งกันหลายด้านและการถ่วงดุลตามความชอบ โมเดลจึงยากที่จะตัดสินใจได้เอง3ขอบเขตด้านผลป้อนกลับขาดกลไกการประเมิน การคัดเลือก และการคัดออกที่นำไปปฏิบัติได้แนวทางที่ได้จึงไม่สามารถตรวจสอบอย่างเป็นภววิสัยและเก็บไว้เพื่อทำซ้ำได้
ซ้าย: สแตกความสามารถเดี่ยวของโมเดลขนาดใหญ่สร้างเพียงภาพนิ่ง; ขวา: LLM ถูกฝังเป็นโมดูลย่อยในวงจรวิวัฒน์ระดับระบบ แกนเปรียบเทียบ: ภาพนิ่งของความสามารถ กับ กระบวนการต่อเนื่อง

ขอบเขตเชิงโครงสร้าง 3 ประเภท:

  • ขอบเขตด้านสถานะ:หน้าต่างบริบทมีจำกัด ขาดหน่วยความจำถาวรข้ามเซสชัน โครงการระยะยาวจึงไม่สามารถดำรงอยู่ได้ด้วยตนเอง;
  • ขอบเขตด้านเป้าหมาย:ปัญหาจริงมักเกี่ยวข้องกับเป้าหมายที่ขัดแย้งกันและการถ่วงดุลตามความชอบ โมเดลจึงยากที่จะกำหนดเกณฑ์การตัดสินใจที่ปกป้องได้ด้วยตนเอง;
  • ขอบเขตด้านผลป้อนกลับ:ขาดกลไกการประเมิน การคัดเลือก และการคัดออกที่นำไปปฏิบัติได้ แนวทางที่สร้างขึ้นจึงไม่สามารถตรวจสอบอย่างเป็นภววิสัยและเก็บไว้เพื่อทำซ้ำได้

บทสรุป:ความสามารถของโมเดลที่เพิ่มขึ้น ≠ ความสามารถของระบบที่เพิ่มขึ้น ความสามารถคือภาพนิ่ง สภาพแวดล้อมคือกระบวนการ จำเป็นต้องฝังโมเดลขนาดใหญ่ลงในวงจรวิวัฒน์แบบ "สร้าง—ประเมิน—คัดเลือก—ตกผลึก": ใช้ปัญญาหมู่คณะรักษาความหลากหลายของผู้สมัคร ใช้ตัวแบบพร็อกซีลดต้นทุนการประเมินที่สูง และใช้กลไกการคัดเลือกและการตกผลึกเพื่อเก็บรักษาประสบการณ์ที่มีประสิทธิผล จึงจะทำให้ปัญญาสามารถปรับตัวได้ในสภาพแวดล้อมที่เปลี่ยนแปลงตลอดเวลา นี่คือจุดยืนของ EvoX และยังเป็นข้อสนับสนุนความจำเป็นสำหรับหัวข้อ "การขยายวัตถุวิวัฒน์จากพารามิเตอร์สู่โปรแกรม" "การวิวัฒน์ของวิธีการเอง" และ "การทำให้คงอยู่ถาวรในระดับโครงการ" ในลำดับถัดไป