Engineering ১: মেপে মডেল বাছাই, caching ও batching

“সবচেয়ে বড় মডেল নাও” বা “সবচেয়ে সস্তাটা নাও”—দুটিই অনুমান। মেপে বাছাই মানে একই evaluation suite-এ প্রতিটি প্রার্থীর মান, latency ও খরচ মাপা, তারপর লিখিত শর্তে সিদ্ধান্ত। তারপর দুটি কৌশল যা খরচ ও latency কমায়, কিন্তু ভুলভাবে করলে ভুল উত্তর দেয়: caching (একই প্রশ্নের উত্তর মনে রাখা) ও batching (কয়েকটি অনুরোধ একসাথে চালানো)।