Smoothing, Cross-Entropy ও Perplexity

Smoothing প্রতিটি সম্ভাব্য জোড়ায় সামান্য সম্ভাব্যতা দেয়, যাতে অদেখা জোড়া শূন্য না হয়। সবচেয়ে সরল add-k smoothing: P = (C(আগের w) + k) / (C(আগের) + k × V), যেখানে V vocabulary আকার। মডেল কতটা ভালো তা মাপতে held-out টেক্সটে প্রতি token গড় −log p হিসাব করি—এটি cross-entropy। Perplexity = e^(cross-entropy), যাকে “মডেল গড়ে কতগুলো বিকল্পের মধ্যে দ্বিধায়” হিসেবে পড়া যায়। এই পাঠে কয়েকটি k-এর জন্য validation perplexity তুলনা করব এবং unigram মডেলের সাথে মেলাব।