Causal Mask ও Positional Encoding

GPT-ধরনের মডেল পরের token অনুমান করতে শেখে। training-এ পুরো বাক্য একসাথে দেওয়া হয়, তাই কোনো নিয়ম না থাকলে token i পরের token-গুলো দেখে “উত্তর দেখে ফেলবে”—অধ্যায় ৪-এর leakage। Causal mask এটি ঠেকায়: j > i হলে score = −∞, তাই softmax-এ weight ঠিক ০। দ্বিতীয় সমস্যা: attention নিজে ক্রম জানে না—token-গুলোর স্থান অদলবদল করলে আউটপুটও শুধু অদলবদল হয়। “কুকুর মানুষকে কামড়াল” ও “মানুষ কুকুরকে কামড়াল” আলাদা করতে position-এর তথ্য যোগ করতে হয়। এই পাঠে দুটোই কোডে প্রমাণ করব।