Transformer คืออะไร? ทำไม GPT ถึงเข้าใจภาษาได้

หากจะเข้าใจว่า GPT ที่ย่อจาก Generative Pre-train Transformer ทำงานอย่างไร สิ่งที่ควรรู้จักก่อนคือ Transformer

Transformer คือ สถาปัตยกรรมที่ช่วยให้ AI เข้าใจความสัมพันธ์ระหว่างคำในประโยค โดยหัวใจสำคัญคือ Attention

เช่น

The bank approved the loan because it had enough money.

AI ต้องเข้าใจว่า “it” เกี่ยวข้องกับอะไรในประโยค ไม่ใช่แค่ดูคำที่อยู่ติดกัน

Attention จึงเข้ามาช่วยตอบคำถามว่า ตอนกำลังประมวลผลคำนี้ ควรให้ความสำคัญกับคำไหนมากแค่ไหน?

เบื้องหลัง Attention มีแนวคิด Query, Key และ Value (Q, K, V) ซึ่งทำให้แต่ละ token สามารถดูบริบทของ token อื่น ๆ และสร้าง representation ใหม่ที่มีความหมายมากขึ้น

จากนั้น Transformer จะนำกระบวนการเหล่านี้มาซ้อนกันหลายชั้น เพื่อสร้างความเข้าใจบริบทที่ซับซ้อนขึ้น

แล้ว GPT เกี่ยวข้องอย่างไร?

GPT คือ Language Model ที่สร้างบน Transformer แบบ Decoder

หน้าที่หลักของ GPT คือการคาดเดา token ถัดไป จากบริบทที่มีอยู่

I love → AI

I love AI → because

I love AI because → ...

ทำซ้ำไปเรื่อย ๆ จนกลายเป็นคำตอบที่เราเห็น

สรุป

• Transformer = Architecture
• Attention = กลไกสำคัญในการมองบริบท
• GPT = Language Model ที่ใช้ Transformer เพื่อทำนาย token ถัดไป

เพิ่มเติมเกี่ยวกับ GPT

• Generative = สร้างข้อความหรือเนื้อหาใหม่
• Pre-trained = ถูก Train มาก่อนด้วยข้อมูลจำนวนมาก
• Transformer = สถาปัตยกรรม Neural Network ที่ใช้ Attention เพื่อเข้าใจบริบท

GPT คือ โมเดลที่ถูกฝึกมาก่อน และใช้ Transformer เพื่อสร้างเนื้อหา

เป็นพื้นฐานสำคัญที่ควรรู้ก่อนจะไปต่อในเรื่อง LLM, RAG, Agent และ AI Engineer