ارزیابی سیستم‌های NLP

Hold-out: تقسیم ساده Train/Test (۸۰/۲۰)
K-Fold: چرخش Test بین بخش‌ها — قابل اعتماد برای داده کم
تست مستقل: داده کاملاً جدید (شبیه محیط واقعی)

ارزیابی مدل‌های NLP: دقت، Precision و Recall، F1، ماتریس درهم‌ریختگی و مشکل داده نامتوازن

چرا ارزیابی دقیق مهم است؟

مدل NLP بدون ارزیابی درست، مثل دارو بدون آزمایش است! و در NLP، دقت (Accuracy) به‌تنهایی گمراه‌کننده است.

۹۹٪ ایمیل‌ها عادی‌اند. مدلی که بگوید «همه عادی!» دقت ۹۹٪ دارد اما کاملاً بی‌فایده است — هیچ اسپمی را نمی‌گیرد!

	پیش‌بینی: اسپم	پیش‌بینی: عادی
واقعیت: اسپم	TP (درست گرفت)	FN (از دست داد!)
واقعیت: عادی	FP (به‌ناحق گرفت)	TN (درست رد کرد)

معیار	فرمول	سؤال
Precision	TP / (TP + FP)	از آن‌ها که اسپم گفتیم، چندتا واقعاً بود؟
Recall	TP / (TP + FN)	از کل اسپم‌های واقعی، چندتا را گرفتیم؟
F1	هارمونیک P و R	تعادل هر دو

به هزینه خطا بستگی دارد:

هشدار: هرگز روی داده Train ارزیابی نکنید! مدل داده را «حفظ» کرده و دقت غیرواقعی می‌دهد. همیشه Test جدا.

برای مدل‌های مولد (ترجمه، خلاصه)، معیارهای دیگری لازم است: BLEU (تطابق n-gram با مرجع)، ROUGE (بازیابی) یا ارزیابی انسانی — مباحث پیشرفته‌تر.