Skip-gram: Embedding শেখা

Skip-gram (word2vec-এর একটি রূপ) একটি সহজ কাজ শিখে embedding পায়: কেন্দ্র শব্দ দেখে তার আশেপাশের শব্দ অনুমান করা। কেন্দ্র শব্দের embedding e = E[w]; প্রতিটি সম্ভাব্য প্রসঙ্গ শব্দ c-এর আউটপুট vector O[c]; স্কোর O[c] · e; softmax দিয়ে সম্ভাব্যতা; cross-entropy loss (অধ্যায় ৪-এর মতোই)। training শেষে অনুমান-কাজটি ফেলে দিয়ে E রেখে দিই। একই প্রসঙ্গের শব্দকে একই প্রতিবেশী অনুমান করতে হয়, তাই তাদের vector কাছাকাছি হয়ে যায়। এই পাঠে ৫-dimension embedding train করে আগে-পরে cosine তুলনা করব।