টেক্সট থেকে সংখ্যা: Unicode ও বাংলা অক্ষর

কম্পিউটারে প্রতিটি অক্ষর একটি সংখ্যা—Unicode code point (যেমন “ক” = U+0995)। কিন্তু চোখে যা একটি অক্ষর, তা প্রায়ই একাধিক code point: “কি” = ক + ি-কার, “ক্ষ” = ক + হসন্ত + ষ। আর ফাইলে বা নেটওয়ার্কে প্রতিটি বাংলা code point UTF-8-এ ৩টি byte নেয়, ইংরেজি অক্ষর ১টি। এই পাঠে একই শব্দের তিন মাপ—দৃশ্যমান অক্ষর, code point ও byte—কোডে গুনব, এবং দেখব কেন এটি tokenization, মডেলের খরচ ও প্রসঙ্গ-দৈর্ঘ্যে প্রভাব ফেলে।