ทำไม AI ถึง hallucinate
อาการนี้เรียกว่า อาการมั่ว (hallucination)เมื่อ AI ตอบข้อมูลที่ไม่จริงอย่างมั่นใจ เพราะมันถูกฝึกให้เขียนสิ่งที่ฟังดูน่าจะใช่ ไม่ใช่สิ่งที่จริงดูคำศัพท์ทั้งหมด และคุณมีเครื่องมือเข้าใจมันครบแล้ว:
- เป้าหมายตอนฝึกคือ "ลื่น" ไม่ใช่ "จริง" — เป้าหมายตอนฝึก (training objective)สิ่งที่โมเดลถูกฝึกให้ทำได้ดี สำหรับ LLM คือการเดาคำถัดไปให้แม่น ไม่ใช่การบอกความจริงดูคำศัพท์ทั้งหมด ของ LLM คือเดาคำถัดไปให้เหมือนข้อความที่เคยเห็น
- ทุกขั้นต้องเลือกสักคำ — softmax รวมได้ 100% เสมอ ไม่มีช่อง "ไม่รู้" ให้อัตโนมัติ
- ไม่รู้ = คะแนนแบน แต่ยังสุ่มได้ — คะแนนทุกตัวเลือกใกล้กัน แต่สุ่มแล้วก็ยังได้คำที่ฟังดูดี
- ผิดหนึ่งคำ ผิดต่อทั้งประโยค — คำถัดไปเดาต่อจากคำที่ผิดไปแล้ว
เทียบประโยคที่โมเดล "รู้" กับ "ไม่รู้" แล้วลองสุ่มหลายๆ ครั้ง:
"เมืองหลวงของไทยคือ ___" กรุงเทพได้ 96.5% สุ่มกี่ทีก็ได้คำเดิม ส่วน "ผู้ชนะรางวัลสมมติปี 2031 คือ ___" สี่ชื่อได้ 31.0%, 25.3%, 22.9%, 20.8% สุ่มแต่ละทีได้ชื่อต่างกัน แต่ทุกประโยคฟังดูมั่นใจเท่ากัน
AI ถูกฝึกให้เขียนสิ่งที่ "น่าจะตามมา" ไม่ใช่สิ่งที่ "จริง" เมื่อไม่รู้ มันก็ยังเลือกคำที่ฟังดูดีอยู่ดี
มังคุด
งั้นมันโกหกเหรอ?