คำนวณ softmax เอง · AI ข้างในทำงานยังไง

ถึงตาคุณลงมือแล้ว ไม่ต้องกลัว ใช้แค่สูตรเดียวจากหน้าก่อน:

p_{i} = \frac{e ^{z_{i}}}{\sum _{j} e ^{z_{j}}}

มี 3 token ชื่อ A, B, C ได้ คะแนนดิบ (logit)คะแนนที่โมเดลให้กับทุก token ว่าเข้ากับบริบทแค่ไหน ติดลบได้ และยังไม่ใช่ความน่าจะเป็นดูคำศัพท์ทั้งหมด เป็น 2, 1, 0 ตามลำดับ

โอกาสของ A หรือ $p (A)$ เท่ากับกี่ %? (ตอบเป็น % ทศนิยม 1 ตำแหน่ง หรือตอบเป็นทศนิยมแบบ 0.xxx ก็ได้)

คำตอบของคุณ

คำใบ้ (2)

เริ่มจากยก e กำลังแต่ละคะแนน: $e^{2} \approx 7.39$
$e^{1} \approx 2.72$ และ $e^{0} = 1$ เสมอ บวกทั้งสามตัวได้ราว 11.11 แล้วเอา 7.39 ไปหาร (ใช้เครื่องคิดเลข $e^{x}$ ด้านล่างได้)

ดูเฉลย

คำตอบ: 66.5%

$e^{2} = 7.3891$ , $e^{1} = 2.7183$ , $e^{0} = 1$ รวมกันได้ $11.1073$

ดังนั้น $p (A) = 7.3891/11.1073 =$ 66.5% (B = 24.5%, C = 9.0%)

สังเกตไหมว่าคำตอบใกล้กับ 65.7% ของ "ปลา" มาก? เพราะคะแนน (3, 2, 1) กับ (2, 1, 0) ต่างกันแค่ลบ 1 ทุกตัว และ softmax สนใจแค่ "ระยะห่าง" ของคะแนน บวกหรือลบค่าคงที่เท่ากันทุกคำ ความน่าจะเป็นไม่เปลี่ยน ส่วนต่างเล็กน้อยที่เห็นมาจาก "รถ" ที่หน้าก่อนมีอยู่ด้วย

ไม่ว่าคะแนนจะเป็นเท่าไร ขั้นตอนเหมือนเดิมเสมอ คำนวณ softmax ได้ใน 2 ขั้น: ยก e กำลังทุกคะแนน แล้วหารด้วยผลรวม

มังคุด

หนูกดเครื่องคิดเลขได้มั้ย?

ชอบหน้านี้? แชร์ให้เพื่อนร่วมงาน