Normalization, Residual ও Dropout

গভীর নেটওয়ার্কে (এবং Transformer-এ, অধ্যায় ৯) তিনটি কৌশল প্রায় সবসময় থাকে। Layer normalization প্রতিটি উদাহরণের hidden vector-কে গড় ০ ও variance ১-এ আনে, যাতে স্তর থেকে স্তরে মাপ বিস্ফোরিত না হয়। Residual connection আউটপুট = x + f(x) লেখে, ফলে gradient-এর একটি সরাসরি পথ থাকে। Dropout training-এর সময় দৈবভাবে কিছু neuron বন্ধ করে overfitting কমায়। এই পাঠে তিনটিই ছোট কোডে হিসাব করব এবং প্রতিটির সীমা বুঝব।