Attention ও Transformer

অধ্যায় ৮-এর embedding প্রসঙ্গ-নিরপেক্ষ: “গলার হার” ও “খেলায় হার”-এ “হার”-এর vector একই। Attention প্রতিটি token-কে বাক্যের অন্য token-গুলো দেখে নিজের vector আপডেট করতে দেয়—কোন token কতটা প্রাসঙ্গিক তা dot product ও softmax ঠিক করে। এই অধ্যায়ে ছোট সংখ্যায় হাতে ও কোডে scaled dot-product attention, causal mask (ভবিষ্যৎ token না দেখা), positional encoding (ক্রমের তথ্য), multi-head attention এবং পূর্ণ Transformer block-এর forward pass করব, প্রতিটি ধাপের shape লিখে।

প্রজেক্ট: একটি attention calculator যা Q/K/V shape, score, mask, softmax weight ও আউটপুট দেখায় এবং প্রতিটি বৈশিষ্ট্য (সারির যোগফল ১, mask-এ শূন্য, স্থান-অদলবদল) যাচাই করে।