Retrieval-মূল্যায়ন বনাম উত্তর-মূল্যায়ন
পাবলিক সারাংশ
“বট ভালো উত্তর দিচ্ছে”—এই অনুভূতি মাপ নয়। RAG দুই ধাপের, তাই ভুলও দুই ধরনের: সঠিক নথি খুঁজেই পাওয়া যায়নি (retrieval-ব্যর্থতা), অথবা পাওয়া গেছে কিন্তু উত্তর ভুল বাক্য বা তথ্য দিয়েছে (উত্তর-ব্যর্থতা)। এক মাপে দুটো মিশে গেলে কোথায় ঠিক করতে হবে বোঝা যায় না। এই পাঠে একটি লেবেলযুক্ত সেট বানাব—উত্তরযোগ্য ও অনুত্তরযোগ্য দুই ধরনের প্রশ্নসহ—এবং দুই স্তরে আলাদা মাপ নেব।
বাকি অধ্যায়গুলো বিনা মূল্যে পড়তে লগইন করুন।