Byte Pair Encoding (BPE)
অন্য নাম: বিপিই, subword
সবচেয়ে ঘন ঘন পাশাপাশি থাকা জোড়া বারবার জুড়ে subword token বানানোর পদ্ধতি। কোন ভাষা কত token নেয়, তা training ডেটার উপর নির্ভর করে।
বিস্তারিত শিখুন: Subword ও Byte Pair Encoding (BPE) (এই পাঠ পড়তে লগইন প্রয়োজন)