Tokenization ও Language Modeling

Neural network সংখ্যা নিয়ে কাজ করে; ভাষা মডেলকে আগে টেক্সটকে সংখ্যার ক্রমে (token ID) ভাঙতে হয়। এই অধ্যায়ে দেখব বাংলা টেক্সট কম্পিউটারে কীভাবে থাকে (Unicode code point, UTF-8 byte, যুক্তাক্ষর), শব্দ ও অক্ষর-ভিত্তিক tokenizer-এর সমস্যা, এবং Byte Pair Encoding (BPE) কীভাবে মাঝামাঝি subword একক শেখে। তারপর language modeling-এর মূল কাজ—পরের token-এর সম্ভাব্যতা—গণনা দিয়ে শিখব: bigram, smoothing, এবং held-out ডেটায় cross-entropy ও perplexity দিয়ে মূল্যায়ন।

প্রজেক্ট: বাংলা ও ইংরেজির জন্য একটি সীমিত tokenizer এবং n-gram next-token predictor, মূল্যায়ন ও সীমাবদ্ধতার সৎ বিবরণসহ।