Data Leakage ও বিভ্রান্তিকর মূল্যায়ন
পাবলিক সারাংশ
Data leakage ঘটে যখন training বা মূল্যায়নে এমন তথ্য ঢোকে যা বাস্তব ব্যবহারের সময় পাওয়া যাবে না—ফলে মূল্যায়ন অবাস্তব রকম ভালো দেখায়। এই পাঠে চার ধরনের leakage দেখব: label-এর ছদ্মবেশী feature (যেমন “refund_issued” দিয়ে “ফেরত আসবে কি না” অনুমান), train-test-এ প্রায়-ডুপ্লিকেট মেসেজ, ভবিষ্যতের তথ্য, এবং পুরো ডেটায় preprocessing। একটি কোড-পরীক্ষায় leakage-যুক্ত feature কীভাবে “১০০% accuracy” দেয় তা নিজে দেখব, এবং leakage ধরার একটি চেকলিস্ট বানাব।
বাকি অধ্যায়গুলো বিনা মূল্যে পড়তে লগইন করুন।