🌡️ Temperature: ปุ่มความกล้า

สมองก้อนเดิม คะแนนชุดเดิม แค่หมุนปุ่มเดียวที่ชื่อ อุณหภูมิ (temperature)อุณหภูมิ (temperature)ปุ่มปรับความ "กล้า" ของการสุ่ม ค่าต่ำทำให้เลือกคำที่มั่นใจซ้ำๆ ค่าสูงทำให้คำแปลกๆ มีโอกาสมากขึ้นดูคำศัพท์ทั้งหมด✕ หรือ T

ก่อนเข้า softmax เราเอา T ไปหารคะแนนทุกตัว:

$$p_i=\frac{e^{z_i/T}}{{\sum }_j{e}^{z_j/T}}$$

• T ต่ำ (เช่น 0.5): ช่องว่างระหว่างคะแนนถูกขยาย คำที่นำอยู่แล้วยิ่งนำ — ปลา 86.7%, ข้าว 11.7%, หนู 1.6%, รถ 0.03%
• T = 1: ค่าปกติ — 65.7 / 24.2 / 8.9 / 1.2%
• T สูง (เช่น 2): ช่องว่างถูกบีบ คำแปลกๆ มีลุ้น — 47.4 / 28.7 / 17.4 / 6.4%

จากนั้นโมเดลจะ สุ่มเลือก (sampling)การสุ่มเลือกคำ (sampling)การจับฉลากเลือกคำถัดไปตามความน่าจะเป็น คำที่โอกาสสูงถูกเลือกบ่อยกว่า แต่ไม่ใช่ทุกครั้งดูคำศัพท์ทั้งหมด✕ คำตามเปอร์เซ็นต์เหล่านี้ เหมือนจับฉลากที่คำโอกาสสูงมีสลากมากกว่า

ลองลากดู แล้วลองสุ่มประโยคเพื่อดูว่าแต่ละค่า T ให้ผลต่างกันแค่ไหน:

ถ้าติด: ที่ T = 0.6 ปลาได้ 81.6% ยังไม่ถึง ต้องลดลงอีกนิด

temperature ต่ำ = เลือกคำเดิมๆ ที่มั่นใจ temperature สูง = กระจายโอกาสให้คำแปลกๆ มากขึ้น