কেন Attention: প্রসঙ্গ-নির্ভর অর্থ

“গলার হার সুন্দর” ও “খেলায় হার হলো”—দুই বাক্যে “হার” আলাদা অর্থ, কিন্তু অধ্যায় ৮-এর embedding-এ একই vector। Attention-এর মূল ধারণা সহজ: প্রতিটি token অন্য সব token-এর সাথে নিজের মিল (dot product) মাপে, softmax দিয়ে সেগুলোকে weight-এ রূপান্তর করে (যোগফল ১), এবং অন্যদের vector-এর weighted average নেয়। “গলার” কাছে থাকলে “হার”-এর নতুন vector গয়নার দিকে সরে; “খেলায়” কাছে থাকলে খেলার দিকে। এই পাঠে Q/K/V ছাড়াই সরলতম রূপটি হাতে ও কোডে করব।