Token
অন্য নাম: টোকেন
মডেল যে ছোট এককে টেক্সট ভাঙে। টোকেন সবসময় পূর্ণ শব্দ নয়—বাংলা ও ইংরেজিতে ভাঙা ভিন্ন হতে পারে।
বিস্তারিত শিখুন: Word ও Character Token, Vocabulary (এই পাঠ পড়তে লগইন প্রয়োজন)
অন্য নাম: টোকেন
মডেল যে ছোট এককে টেক্সট ভাঙে। টোকেন সবসময় পূর্ণ শব্দ নয়—বাংলা ও ইংরেজিতে ভাঙা ভিন্ন হতে পারে।
বিস্তারিত শিখুন: Word ও Character Token, Vocabulary (এই পাঠ পড়তে লগইন প্রয়োজন)