Subword ও Byte Pair Encoding (BPE)

Byte Pair Encoding (BPE) অক্ষর দিয়ে শুরু করে, training টেক্সটে পাশাপাশি সবচেয়ে বেশিবার আসা জোড়াকে একটি নতুন token বানায়, এবং এটি বারবার করে। ফলে ঘনঘন শব্দ পুরোটাই একটি token হয়, আর বিরল শব্দ পরিচিত টুকরোয় ভাঙে—যেমন “ডেলিভারিতে” → “ডেলিভারি” + “তে”। এই পাঠে ছোট বাংলা-ইংরেজি corpus-এ BPE train করব, প্রতিটি merge দেখব, এবং অদেখা শব্দ encode করব। GPT-2 সহ অনেক মডেল BPE-র কোনো রূপ ব্যবহার করে।