Harness Engineering: AI เก่งอย่างเดียวไม่พอ
ก่อนหน้านี้เราสนใจว่า จะทำให้ AI ตอบเก่งขึ้นได้อย่างไร Prompt ดีขึ้น, Model ดีขึ้น, RAG ดีขึ้น
แต่เมื่อ AI เริ่มถูกเอาไปทำงานจริง เกิดคำถามที่ว่า
หาก AI ทำผิด จะจัดการอย่างไร?
Harness Engineering คือ การสร้างระบบรอบ ๆ AI เพื่อควบคุมและช่วยให้ AI ทำงานได้จริง
เช่น
- ให้ Context ที่ถูกต้อง
- กำหนดว่า AI เรียก Tool อะไรได้บ้าง
- ตรวจสอบ Output ก่อนนำไปใช้
- มี Guardrails กันสิ่งที่ไม่ควรทำ
- Retry หรือ Fallback เมื่อเกิดข้อผิดพลาด
- ให้คนเข้ามา Approve ในงานสำคัญ
- เก็บ Log และวัดผลการทำงาน
เปรียบเทียบ Prompt vs Harness Engineering
- Prompt Engineering = บอก AI ว่า ควรทำอย่างไร
- Harness Engineering = สร้างระบบ ให้ AI ทำงานได้อย่างปลอดภัย
AI ที่ดีอาจไม่ได้วัดกันที่ Model ฉลาดแค่ไหน แต่อาจวัดกันที่ว่าการออกแบบระบบรอบ ๆ Model ทำได้ดีแค่ไหน