Keyword Search: BM25

শব্দ মিলিয়ে খোঁজা পুরোনো কিন্তু এখনো শক্তিশালী—বিশেষত পণ্যের নাম, কোড, নির্দিষ্ট শব্দের ক্ষেত্রে। BM25 প্রতিটি chunk-কে স্কোর দেয়: প্রশ্নের শব্দ chunk-এ যত বার আছে (কিন্তু একটি সীমা পর্যন্ত), শব্দটি সংগ্রহে যত দুর্লভ, আর chunk যত ছোট—স্কোর তত বেশি। এই পাঠে BM25 নিজে লিখব এবং দেখব বাংলায় এর একটি বড় দুর্বলতা: “শাড়ির” আর “শাড়ি” আলাদা শব্দ হিসেবে গোনা হয়।