🧮 Softmax: เปลี่ยนคะแนนเป็นความน่าจะเป็น

หน้าก่อนเราได้ คะแนนดิบคะแนนดิบ (logit)คะแนนที่โมเดลให้กับทุก token ว่าเข้ากับบริบทแค่ไหน ติดลบได้ และยังไม่ใช่ความน่าจะเป็นดูคำศัพท์ทั้งหมด✕ ของ 4 คำสำหรับประโยค "แมวชอบกิน ___" มาแล้ว: ปลา 3, ข้าว 2, หนู 1, รถ −1

แต่คะแนนดิบยังเอาไปสุ่มไม่ได้ เราต้องเปลี่ยนมันเป็น ความน่าจะเป็น (probability)การแจกแจงความน่าจะเป็น (probability distribution)ชุดของโอกาสที่แต่ละตัวเลือกจะเกิด โดยทุกตัวรวมกันได้ 100%ดูคำศัพท์ทั้งหมด✕ ก่อน เครื่องมือนั้นชื่อ softmaxซอฟต์แมกซ์ (softmax)สูตรที่เปลี่ยนคะแนนดิบเป็นความน่าจะเป็นที่รวมกันได้ 100% โดยยก e กำลังคะแนนแล้วหารด้วยผลรวมดูคำศัพท์ทั้งหมด✕ ทำงาน 2 ขั้น:

1. ยก e กำลังคะแนน — ทำให้ทุกค่าเป็นบวก และขยายช่องว่างระหว่างคำ
2. หารด้วยผลรวม — ทำให้ทุกคำรวมกันได้ 100%

$$p_i=\frac{e^{z_i}}{{\sum }_j{e}^{z_j}}$$

ลองคิดตาม: $e^3=20.0855$, $e^2=7.3891$, $e^1=2.7183$, $e^{-1}=0.3679$ รวมกันได้ $30.5608$

ดังนั้น ปลา $=20.0855/30.5608=0.6572$ หรือ 65.7% ส่วนข้าว 24.2%, หนู 8.9% และรถ 1.2%

ลองแก้คะแนนในตารางดู ผลรวมจะเป็น 100% เสมอ:

softmax เปลี่ยนคะแนนดิบเป็นเปอร์เซ็นต์ที่รวมกันได้ 100% คำคะแนนสูงได้ส่วนแบ่งมากแบบทวีคูณ