Multi-Head Attention ও Transformer Block

একটি attention head একটি ধরনের সম্পর্ক ধরে (যেমন “আগের বিশেষণ”)। Multi-head attention h টি ছোট head সমান্তরালে চালায়, প্রতিটির নিজস্ব W_Q, W_K, W_V (dimension d/h), তারপর আউটপুটগুলো পাশাপাশি জুড়ে (concat) একটি W_O দিয়ে গুণ করে। Transformer block-এ এর পরে একটি দুই-স্তরের feed-forward নেটওয়ার্ক (প্রতিটি token আলাদাভাবে), প্রতিটির আগে LayerNorm ও পরে residual (অধ্যায় ৫)। এই পাঠে ছোট মাপে একটি পূর্ণ block-এর forward pass চালাব এবং parameter সূত্র দিয়ে GPT-2 small-এর প্রকাশিত আকার (প্রায় ১২.৪ কোটি) পুনরুৎপাদন করব।