อภิธานศัพท์

วิธีที่แต่ละคำเลือกว่าจะ "ฟัง" คำอื่นในประโยคมากน้อยแค่ไหน โดยใช้ softmax แบ่งน้ำหนักให้รวมได้ 100%

เจอใน: Attention: คำไหนควรฟังคำไหน · Scaled dot-product attention ด้วยตัวเลขจริง · Context window: ความจำระยะสั้นมีขีดจำกัด

ท่อนสั้นๆ ที่หั่นออกมาจากเอกสารยาว เพื่อให้ค้นและแนบเข้า prompt ได้พอดี

เจอใน: RAG: ให้ AI เปิดเอกสารก่อนตอบ

จำนวน token สูงสุดที่โมเดลมองเห็นได้ในครั้งเดียว นับรวมทั้งคำสั่งและคำตอบ

เจอใน: Context window: ความจำระยะสั้นมีขีดจำกัด · สรุปสูตรบทที่ 2

วัดว่าลูกศรสองอันชี้ไปทางเดียวกันแค่ไหน ได้ค่าระหว่าง −1 ถึง 1 โดยไม่สนความยาว

เจอใน: Cosine similarity: ชี้ไปทางเดียวกันแค่ไหน · ลากเวกเตอร์เอง · คำนวณ cosine เอง

จำนวนตัวเลขในเวกเตอร์ บทเรียนนี้ใช้ 2 มิติให้วาดได้ โมเดลจริงใช้หลายร้อยถึงหลายพันมิติ

เจอใน: Embedding: พิกัดบนแผนที่ความหมาย

เอาตัวเลขตำแหน่งเดียวกันของสองเวกเตอร์มาคูณกัน แล้วบวกรวม ยิ่งชี้ไปทางเดียวกันยิ่งได้ค่ามาก

เจอใน: Cosine similarity: ชี้ไปทางเดียวกันแค่ไหน · คำนวณ cosine เอง · Scaled dot-product attention ด้วยตัวเลขจริง

การแปลงคำหรือข้อความเป็นชุดตัวเลข (เวกเตอร์) ข้อความที่ความหมายใกล้กันจะได้ตัวเลขใกล้กัน

เจอใน: คอมพิวเตอร์รู้ได้ไงว่า "แมว" ใกล้ "หมา" · Embedding: พิกัดบนแผนที่ความหมาย · RAG: ให้ AI เปิดเอกสารก่อนตอบ

การเลือกคำที่โอกาสสูงสุดเสมอโดยไม่สุ่ม ผลจึงซ้ำเดิมทุกครั้ง

เจอใน: Temperature: ปุ่มความกล้า

เมื่อ AI ตอบข้อมูลที่ไม่จริงอย่างมั่นใจ เพราะมันถูกฝึกให้เขียนสิ่งที่ฟังดูน่าจะใช่ ไม่ใช่สิ่งที่จริง

เจอใน: ทำไม AI ถึง hallucinate · แบบทดสอบบทที่ 1 · RAG: ให้ AI เปิดเอกสารก่อนตอบ

โปรแกรมที่ถูกฝึกจากข้อความจำนวนมหาศาลให้เดาคำถัดไปได้เก่งมาก ChatGPT, Claude และ Gemini คือ LLM

เจอใน: ทำไมถามซ้ำแล้วได้คำตอบไม่เหมือนเดิม · แบบทดสอบบทที่ 1

คะแนนที่โมเดลให้กับทุก token ว่าเข้ากับบริบทแค่ไหน ติดลบได้ และยังไม่ใช่ความน่าจะเป็น

เจอใน: คะแนนดิบ (logit): ทุกคำได้คะแนน · Softmax: เปลี่ยนคะแนนเป็นความน่าจะเป็น · คำนวณ softmax เอง

ชุดของโอกาสที่แต่ละตัวเลือกจะเกิด โดยทุกตัวรวมกันได้ 100%

เจอใน: Softmax: เปลี่ยนคะแนนเป็นความน่าจะเป็น

สามบทบาทใน attention คำถาม (query) ไปเทียบกับป้ายชื่อ (key) ของทุกคำ แล้วผสมข้อมูล (value) ตามน้ำหนักที่ได้

เจอใน: Attention: คำไหนควรฟังคำไหน · Scaled dot-product attention ด้วยตัวเลขจริง

ขั้นตอนหาชิ้นเอกสารที่ความหมายใกล้คำถามที่สุด มักใช้ cosine similarity ของ embedding

เจอใน: RAG: ให้ AI เปิดเอกสารก่อนตอบ

เทคนิคค้นเอกสารที่เกี่ยวข้องด้วย embedding แล้วแนบให้ AI อ่านก่อนตอบ เหมือนสอบแบบเปิดหนังสือ

เจอใน: RAG: ให้ AI เปิดเอกสารก่อนตอบ · สรุปสูตรบทที่ 2 · แบบทดสอบบทที่ 2

การจับฉลากเลือกคำถัดไปตามความน่าจะเป็น คำที่โอกาสสูงถูกเลือกบ่อยกว่า แต่ไม่ใช่ทุกครั้ง

เจอใน: Temperature: ปุ่มความกล้า · Top-p: ตัดหางทิ้งก่อนสุ่ม · วงจร autoregressive และ log-probability

สูตรที่เปลี่ยนคะแนนดิบเป็นความน่าจะเป็นที่รวมกันได้ 100% โดยยก e กำลังคะแนนแล้วหารด้วยผลรวม

เจอใน: Softmax: เปลี่ยนคะแนนเป็นความน่าจะเป็น · คำนวณ softmax เอง · วงจร autoregressive และ log-probability

ปุ่มปรับความ "กล้า" ของการสุ่ม ค่าต่ำทำให้เลือกคำที่มั่นใจซ้ำๆ ค่าสูงทำให้คำแปลกๆ มีโอกาสมากขึ้น

เจอใน: Temperature: ปุ่มความกล้า · สรุปสูตรบทที่ 1 · แบบทดสอบบทที่ 1

ชิ้นข้อความที่ AI มองเห็นจริงๆ อาจเป็นทั้งคำ ส่วนของคำ หรือตัวอักษรเดียว แต่ละชิ้นมีเลขประจำตัว

เจอใน: ทำไมถามซ้ำแล้วได้คำตอบไม่เหมือนเดิม · Token: AI ไม่ได้อ่านเป็น “คำ” · วงจร autoregressive และ log-probability

ตัวแปลงข้อความเป็นลำดับ token ก่อนส่งให้โมเดล แต่ละโมเดลใช้ตัวหั่นไม่เหมือนกัน

เจอใน: Token: AI ไม่ได้อ่านเป็น “คำ”

วิธีตัดคำโอกาสน้อยทิ้ง โดยเก็บคำเรียงจากมากไปน้อยจนโอกาสรวมถึง p แล้วค่อยสุ่มในกลุ่มนั้น

เจอใน: Top-p: ตัดหางทิ้งก่อนสุ่ม · สรุปสูตรบทที่ 1 · แบบทดสอบบทที่ 1

สิ่งที่โมเดลถูกฝึกให้ทำได้ดี สำหรับ LLM คือการเดาคำถัดไปให้แม่น ไม่ใช่การบอกความจริง

เจอใน: ทำไม AI ถึง hallucinate

รายการตัวเลขเรียงกัน มองเป็นลูกศรหรือพิกัดบนแผนที่ก็ได้ เช่น (0.9, 0.8)

เจอใน: Embedding: พิกัดบนแผนที่ความหมาย · ลากเวกเตอร์เอง

รายการ token ทั้งหมดที่โมเดลรู้จัก โมเดลจริงมีราว 50,000–200,000 token

เจอใน: Token: AI ไม่ได้อ่านเป็น “คำ” · คะแนนดิบ (logit): ทุกคำได้คะแนน