LLM ทำงานอย่างไร? จาก Token สู่ Generative AI
LLM (Large Language Model) คือ โมเดลที่เรียนรู้รูปแบบของภาษาจากข้อมูลจำนวนมาก โดยมีหลักการสำคัญ คือ การทำนาย Token ถัดไปจาก Context ที่ได้รับ
กระบวนการพื้นฐาน คือ
- ข้อความถูกแบ่งเป็น Token
- Token ถูกแปลงเป็นตัวเลข
- ตัวเลขถูกแปลงเป็น Embedding Vector เพื่อแทนความหมาย
- Transformer ใช้ Context และความสัมพันธ์ระหว่าง Token เพื่อทำความเข้าใจภาษา
- โมเดลทำนาย Token ถัดไป และทำซ้ำจนกลายเป็นข้อความหรือเนื้อหาใหม่
สิ่งที่ทำให้ LLM แตกต่างจากโมเดล AI แบบเดิม คือ โมเดลเดียวสามารถทำงานได้หลากหลายผ่าน Prompt เช่น การตอบคำถาม สรุป แปล วิเคราะห์ และสร้างเนื้อหาใหม่
สรุป
LLM = เรียนรู้จากข้อมูลจำนวนมาก + เข้าใจความสัมพันธ์ผ่าน Transformer + สร้างคำตอบด้วยการทำนาย Token ถัดไป