Top-p: ตัดหางทิ้งก่อนสุ่ม
temperature ยังเหลือโอกาสให้คำแปลกๆ เสมอ ถึงจะน้อยนิดก็ตาม ถ้าสุ่มหลายพันครั้ง สักวันคำประหลาดก็โผล่
ท็อป-พี (top-p, nucleus sampling)วิธีตัดคำโอกาสน้อยทิ้ง โดยเก็บคำเรียงจากมากไปน้อยจนโอกาสรวมถึง p แล้วค่อยสุ่มในกลุ่มนั้นดูคำศัพท์ทั้งหมด แก้ตรงนี้ด้วย 3 ขั้น:
- เรียงคำจากโอกาสมากไปน้อย
- บวกสะสมไปเรื่อยๆ จนได้ อย่างน้อย p (เช่น 0.9 = 90%)
- ทิ้งคำที่เหลือ แล้วแบ่งเปอร์เซ็นต์ใหม่ในกลุ่มที่รอด ให้รวมกันได้ 100% อีกครั้ง
ลองคิดก่อนกดเล่น: ปลา 65.7%, ข้าว 24.2%, หนู 8.9%, รถ 1.2%
ทีนี้ลองลากเส้นตัดเอง:
ที่ top-p = 0.9 รถถูกตัดทิ้ง แล้วอีก 3 คำแบ่งกันใหม่เป็น ปลา 66.5%, ข้าว 24.5%, หนู 9.0% ส่วนถ้าตั้ง 0.85 จะเหลือแค่ ปลา 73.1% กับ ข้าว 26.9%
top-p ตัดคำที่โอกาสน้อยทิ้ง เหลือเฉพาะกลุ่มคำที่รวมกันได้ตามเปอร์เซ็นต์ที่ตั้ง แล้วค่อยสุ่ม
มังคุด
ทำไม 89.9% ไม่นับว่าถึง 90% ล่ะ? มันใกล้กันมากเลยนะ