คอมพิวเตอร์รู้ได้ไงว่า "แมว" ใกล้ "หมา"
ระบบค้นหาแบบเดิมเทียบ ตัวอักษร — "ลาพักร้อน" กับ "วันหยุดประจำปี" ไม่มีคำไหนซ้ำกันเลย จึงหาไม่เจอ
ส่วน AI เทียบ ความหมาย มันรู้ว่าสองคำนี้พูดถึงเรื่องเดียวกัน คำถามคือ คอมพิวเตอร์ซึ่งเข้าใจแค่ตัวเลข "รู้ความหมาย" ได้ยังไง
คำตอบคือ เอ็มเบดดิง (embedding)การแปลงคำหรือข้อความเป็นชุดตัวเลข (เวกเตอร์) ข้อความที่ความหมายใกล้กันจะได้ตัวเลขใกล้กันดูคำศัพท์ทั้งหมด AI เก็บความหมายของคำเป็นตัวเลขชุดหนึ่ง คำที่ความหมายใกล้กัน ตัวเลขก็ใกล้กัน
บทนี้เราจะไปทีละขั้น:
- Embedding — เปลี่ยนคำเป็นพิกัดบนแผนที่ความหมาย
- Cosine similarity — วัดว่าสองคำ "ชี้ไปทางเดียวกัน" แค่ไหน
- Attention — แต่ละคำในประโยคเลือกฟังคำอื่นยังไง
- Context window — ทำไม AI อ่านได้จำกัด
- RAG — ให้ AI เปิดเอกสารของคุณก่อนตอบ
มังคุด
ความหมายเป็นตัวเลขได้ด้วยเหรอ?