Word ও Character Token, Vocabulary

Tokenizer তিনটি কাজ করে: টেক্সটকে token-এ ভাঙা, প্রতিটি token-কে vocabulary-র একটি ID-তে রূপান্তর, এবং ID থেকে টেক্সট ফেরত আনা (decode)। এই পাঠে দুটি সরল tokenizer বানাব—শব্দ-ভিত্তিক ও অক্ষর-ভিত্তিক—এবং training বাক্য থেকে vocabulary তৈরি করে নতুন বাক্যে মাপব: কত শতাংশ token অজানা (<unk>), আর ক্রম কত লম্বা। দুটির দুর্বলতাই পরের পাঠে BPE-র প্রেরণা।