คะแนนดิบ (logit): ทุกคำได้คะแนน
สมองคุณเพิ่งทำสิ่งเดียวกับที่ AI ทำ คือ "ให้คะแนน" ทุกคำที่เป็นไปได้ในใจ แล้วคำที่เข้ากับบริบทที่สุดก็โผล่ขึ้นมาก่อน
ทุกครั้งที่โมเดลจะเขียนคำถัดไป มันให้คะแนนกับ ทุก token ใน คลังคำของโมเดล (vocabulary)รายการ token ทั้งหมดที่โมเดลรู้จัก โมเดลจริงมีราว 50,000–200,000 tokenดูคำศัพท์ทั้งหมด คะแนนนี้เรียกว่า คะแนนดิบ (logit)คะแนนที่โมเดลให้กับทุก token ว่าเข้ากับบริบทแค่ไหน ติดลบได้ และยังไม่ใช่ความน่าจะเป็นดูคำศัพท์ทั้งหมด
- คะแนนสูง = เข้ากับบริบทมาก
- คะแนนต่ำหรือติดลบ = ไม่ค่อยเข้า
- logit ยังไม่ใช่เปอร์เซ็นต์ มันเป็นแค่คะแนนดิบที่เอามาเทียบกัน
สำหรับ "แมวชอบกิน ___" สมมติว่าโมเดลให้คะแนนแบบนี้: ปลา 3, ข้าว 2, หนู 1, รถ −1
ลองกดสลับบริบทเป็น "รถติดเพราะ ___" แล้วดูว่าคะแนนเปลี่ยนไปยังไง:
สังเกตว่าคำว่า "ปลา" ได้คะแนนสูงสุดในประโยคแรก แต่ติดลบในประโยคที่สอง โมเดลให้คะแนนทุกคำที่เป็นไปได้ คำที่เข้ากับบริบทได้คะแนนสูง
มังคุด
คะแนนติดลบนี่แปลว่าห้ามพูดเลยเหรอ?