Query, Key, Value ও Scaled Dot-Product

Transformer-এর attention প্রতিটি token-কে তিনটি শেখা ভূমিকা দেয়: Query (“আমি কী খুঁজছি”), Key (“আমি কী দিতে পারি”), Value (“আমি আসলে কী তথ্য পাঠাব”)। ইনপুট X (n × d)-কে তিনটি matrix দিয়ে গুণ করে Q, K, V; তারপর score = QKᵀ / √d_k, প্রতিটি সারিতে softmax, আর আউটপুট = A × V। এই পাঠে n = ৩ token, d = ৪-এ প্রতিটি ধাপের shape ও সংখ্যা দেখব, এবং পরীক্ষা করব কেন √d_k দিয়ে ভাগ না করলে বড় dimension-এ softmax প্রায় one-hot হয়ে যায় (gradient প্রায় শূন্য)।