Token: AI ไม่ได้อ่านเป็น “คำ”
เพราะ AI ไม่ได้มองเห็นตัวอักษรทีละตัวแบบเรา
ก่อนข้อความจะเข้าโมเดล มันถูก ตัวหั่นข้อความ (tokenizer)ตัวแปลงข้อความเป็นลำดับ token ก่อนส่งให้โมเดล แต่ละโมเดลใช้ตัวหั่นไม่เหมือนกันดูคำศัพท์ทั้งหมด หั่นเป็นชิ้นๆ ที่เรียกว่า โทเคน (token)ชิ้นข้อความที่ AI มองเห็นจริงๆ อาจเป็นทั้งคำ ส่วนของคำ หรือตัวอักษรเดียว แต่ละชิ้นมีเลขประจำตัวดูคำศัพท์ทั้งหมด ชิ้นหนึ่งอาจเป็นทั้งคำ ส่วนของคำ หรือตัวอักษรเดียว แล้วแต่ละชิ้นจะถูกแปลงเป็นเลข ID
โมเดลจึงเห็น "strawberry" เป็นเลขไม่กี่ตัว ไม่ใช่ตัวอักษรเรียงกัน การถามให้มันนับตัว r จึงเหมือนยื่นรหัสตัวเลขให้คุณ แล้วถามว่าคำนั้นสะกดด้วยตัว r กี่ตัว
รายการ token ทั้งหมดที่โมเดลรู้จักเรียกว่า คลังคำของโมเดล (vocabulary)รายการ token ทั้งหมดที่โมเดลรู้จัก โมเดลจริงมีราว 50,000–200,000 tokenดูคำศัพท์ทั้งหมด
ลองพิมพ์อะไรก็ได้ แล้วดูว่ามันถูกหั่นยังไง:
AI เห็นข้อความเป็นชิ้นๆ ที่เรียกว่า token ไม่ใช่ตัวอักษรหรือคำแบบที่เราเห็น
มังคุด
งั้นชื่อหนูก็ถูกหั่นด้วยเหรอ?