প্রজেক্ট: Sampling Playground

এই প্রজেক্টে একটি খেলনা “language model”—প্রতিটি প্রসঙ্গ-শব্দের পরের token-এর logit টেবিল—দিয়ে একটি sampling playground বানাব। একটি decode ফাংশন settings (temperature, top-k, top-p, seed) নিয়ে প্রতিটি ধাপে বণ্টন রূপান্তর করে token বাছবে। Playground দেখাবে: একটি প্রসঙ্গে প্রতিটি রূপান্তরের পর বণ্টন, ১০০০ নমুনায় token-গণনা, চারটি সেটিং-এ ২০টি করে তৈরি বাক্যের অনন্যতা ও গড় দৈর্ঘ্য, এবং একটি reference বাক্যের cross-entropy। লক্ষ্য: প্রতিটি নবের প্রভাব সংখ্যায় দেখা।