LLM ทำงานอย่างไร? จาก Token สู่ Generative AI

LLM ทำงานอย่างไร? จาก Token สู่ Generative AI

LLM (Large Language Model) คือ โมเดลที่เรียนรู้รูปแบบของภาษาจากข้อมูลจำนวนมาก โดยมีหลักการสำคัญ คือ การทำนาย Token ถัดไปจาก Context ที่ได้รับ

กระบวนการพื้นฐาน คือ

  1. ข้อความถูกแบ่งเป็น Token
  2. Token ถูกแปลงเป็นตัวเลข
  3. ตัวเลขถูกแปลงเป็น Embedding Vector เพื่อแทนความหมาย
  4. Transformer ใช้ Context และความสัมพันธ์ระหว่าง Token เพื่อทำความเข้าใจภาษา
  5. โมเดลทำนาย Token ถัดไป และทำซ้ำจนกลายเป็นข้อความหรือเนื้อหาใหม่

สิ่งที่ทำให้ LLM แตกต่างจากโมเดล AI แบบเดิม คือ โมเดลเดียวสามารถทำงานได้หลากหลายผ่าน Prompt เช่น การตอบคำถาม สรุป แปล วิเคราะห์ และสร้างเนื้อหาใหม่

สรุป

LLM = เรียนรู้จากข้อมูลจำนวนมาก + เข้าใจความสัมพันธ์ผ่าน Transformer + สร้างคำตอบด้วยการทำนาย Token ถัดไป