AI Observability คืออะไร? ทำไมองค์กรที่ใช้ AI ต้องติดตามมากกว่าแค่ผลลัพธ์

การสร้าง AI ให้ตอบคำถามได้ดีเป็นเพียงจุดเริ่มต้น แต่ความท้าทายที่แท้จริงคือ AI จะยังคงทำงานได้ดีหลังนำไปใช้งานจริงหรือไม่

ในระบบซอฟต์แวร์ทั่วไป เราสามารถตรวจสอบสถานะของระบบผ่านตัวชี้วัด เช่น CPU, Memory, Error Rate หรือ Response Time เพื่อให้มั่นใจว่าระบบยังทำงานได้ตามปกติ แนวคิดนี้เรียกว่า Observability ซึ่งเป็นรากฐานสำคัญของการดูแลระบบสมัยใหม่

เมื่อ AI โดยเฉพาะ Large Language Model (LLM) เข้ามาเป็นส่วนหนึ่งของกระบวนการทำงาน องค์กรจึงต้องขยายแนวคิดดังกล่าวมาสู่ AI Observability หรือการติดตามและตรวจสอบพฤติกรรมของระบบ AI อย่างต่อเนื่อง เพื่อให้เข้าใจว่า AI ทำงานอย่างไร มีประสิทธิภาพเพียงใด และเริ่มมีความผิดปกติเมื่อใด

AI Observability ไม่ได้มีเป้าหมายเพียงตรวจสอบว่า AI “ทำงานอยู่” แต่ต้องตอบคำถามที่สำคัญกว่านั้น เช่น

• AI ยังคงให้คำตอบที่มีคุณภาพหรือไม่
• คุณภาพของคำตอบลดลงเมื่อเวลาผ่านไปหรือไม่
• AI เริ่มเกิด Hallucination มากขึ้นหรือไม่
• ระบบใช้ต้นทุนสูงกว่าที่ควรหรือไม่
• ผู้ใช้งานยังได้รับประสบการณ์ที่ดีเหมือนเดิมหรือไม่

กล่าวได้ว่า AI Observability คือการมองเห็น “สุขภาพ” ของระบบ AI ตลอดวงจรการใช้งาน ไม่ใช่เพียงผลลัพธ์ของคำตอบแต่ละครั้ง

AI Observability วัดอะไรบ้าง

การติดตาม AI ในระดับองค์กรมักครอบคลุมหลายมิติ ไม่ได้จำกัดเพียงความแม่นยำของโมเดล

1. คุณภาพของคำตอบ (Quality)

ตรวจสอบว่าคำตอบมีความถูกต้อง ครบถ้วน และสอดคล้องกับคำถามหรือไม่ รวมถึงสามารถวัดด้วยตัวชี้วัด เช่น Accuracy, Faithfulness หรือ Groundedness สำหรับระบบที่ใช้ RAG

2. Hallucination

ติดตามว่าระบบสร้างข้อมูลที่ไม่ถูกต้องหรือไม่มีแหล่งอ้างอิงบ่อยเพียงใด เพราะแม้ AI จะตอบได้อย่างมั่นใจ แต่คำตอบอาจไม่สอดคล้องกับข้อเท็จจริง

3. Latency

วัดระยะเวลาที่ AI ใช้ในการตอบกลับ หากระบบตอบช้าเกินไป แม้คำตอบจะถูกต้อง ก็อาจส่งผลต่อประสบการณ์ของผู้ใช้งาน

4. Cost

การใช้งาน LLM มีต้นทุนที่เกี่ยวข้องกับ Token, Inference หรือการเรียกใช้โมเดล การติดตามต้นทุนช่วยให้องค์กรสามารถควบคุมงบประมาณและเลือกใช้โมเดลได้อย่างเหมาะสม

5. User Feedback

ข้อมูลจากผู้ใช้งาน เช่น การกด Like, Dislike การให้คะแนน หรือการแก้ไขคำตอบ เป็นแหล่งข้อมูลสำคัญที่สะท้อนคุณภาพของ AI ในสถานการณ์จริง

AI Evaluation กับ AI Observability ต่างกันอย่างไร

ทั้งสองแนวคิดมีเป้าหมายเดียวกันคือการพัฒนา AI ให้มีคุณภาพ แต่ทำหน้าที่ต่างกัน

• AI Evaluation คือการประเมินประสิทธิภาพของ AI ในช่วงเวลาหนึ่ง โดยใช้ชุดข้อมูลทดสอบหรือเกณฑ์ที่กำหนด เพื่อเปรียบเทียบโมเดลหรือวัดผลก่อนนำระบบไปใช้งาน
• AI Observability คือการติดตามและวิเคราะห์การทำงานของ AI หลังนำไปใช้งานจริง เพื่อให้มั่นใจว่าระบบยังคงมีคุณภาพ มีความเสถียร และสามารถตรวจพบปัญหาได้อย่างรวดเร็ว

กล่าวง่าย ๆ คือ Evaluation เป็นการสอบก่อนใช้งาน ส่วน Observability คือการตรวจสุขภาพอย่างต่อเนื่องหลังใช้งานจริง

ทำไม AI Observability จึงสำคัญ

โมเดล AI ไม่ได้คงประสิทธิภาพเดิมตลอดเวลา สภาพแวดล้อมทางธุรกิจ ข้อมูล และพฤติกรรมของผู้ใช้งานสามารถเปลี่ยนแปลงได้เสมอ

ตัวอย่าง เช่น

• ผู้ใช้งานเริ่มถามคำถามที่ซับซ้อนขึ้น
• ฐานความรู้ในระบบ RAG ถูกอัปเดต
• มีการเปลี่ยนเวอร์ชันของโมเดล
• ปริมาณผู้ใช้งานเพิ่มขึ้นอย่างรวดเร็ว
• ต้นทุนการใช้งานสูงกว่าที่คาดไว้

หากไม่มีการติดตามอย่างต่อเนื่อง ปัญหาเหล่านี้อาจสะสมจนกระทบต่อคุณภาพของบริการ ความเชื่อมั่นของผู้ใช้งาน และต้นทุนในการดำเนินงาน

สรุป

การพัฒนา AI ไม่ได้สิ้นสุดเมื่อโมเดลผ่านการทดสอบ แต่เริ่มต้นเมื่อระบบถูกนำไปใช้งานจริง

AI Observability คือแนวทางในการติดตาม วิเคราะห์ และทำความเข้าใจพฤติกรรมของ AI อย่างต่อเนื่อง ครอบคลุมทั้งคุณภาพของคำตอบ ความน่าเชื่อถือ ความเร็ว ต้นทุน และประสบการณ์ของผู้ใช้งาน

ในอนาคต เมื่อ AI กลายเป็นโครงสร้างพื้นฐานขององค์กร ความสามารถในการ “มองเห็น” และ “วัดผล” การทำงานของ AI จะมีความสำคัญไม่ต่างจากการเฝ้าระวังระบบไอทีหรือโครงสร้างพื้นฐานด้านข้อมูล เพราะ AI ที่ดีไม่ใช่ AI คือ AI ที่สามารถรักษาคุณภาพ ความน่าเชื่อถือ และประสิทธิภาพได้อย่างสม่ำเสมอในระยะยาว