Optimizer: SGD, Momentum ও Adam

Gradient descent-এর মৌলিক নিয়ম w ← w − η∇L। বাস্তবে তিনটি উন্নতি প্রচলিত: (১) mini-batch SGD—পুরো ডেটার বদলে ছোট দৈব অংশে gradient; (২) momentum—আগের ধাপের দিক মনে রেখে বেগ জমানো; (৩) Adam—প্রতিটি parameter-এর gradient-এর মাপ অনুযায়ী ধাপ ছোট-বড় করা। এই পাঠে একটি লম্বাটে “উপত্যকা” loss-এ তিনটি optimizer চালিয়ে কত ধাপে লক্ষ্যে পৌঁছায় তুলনা করব।