دسته‌بندی متن
دسته‌بندی متن: مسئله، انواع (دودویی، چندکلاسه، چندبرچسبی) و پایپ‌لاین کامل از داده تا ارزیابی
دسته‌بندی متن چیست؟
دسته‌بندی متن (Text Classification) پرکاربردترین مسئله NLP: اختصاص خودکار برچسب به متن. نمونه‌ها:
- ایمیل: اسپم / عادی
- نظر مشتری: مثبت / منفی / خنثی
- خبر: سیاسی / ورزشی / اقتصادی
- تیکت پشتیبانی: مسیردهی به دپارتمان درست
انواع مسئله
| نوع | توضیح | مثال |
|---|---|---|
| دودویی (Binary) | دو کلاس | اسپم/عادی |
| چندکلاسه (Multi-class) | یک برچسب از چندتا | موضوع خبر |
| چندبرچسبی (Multi-label) | چند برچسب هم‌زمان! | مقاله: [ML، پایتون] |
پایپ‌لاین کامل
- جمع‌آوری داده: متن‌های برچسب‌دار (هزاران نمونه!)
- پیش‌پردازش: نرمال‌سازی، توکن‌سازی، ریشه‌یابی (بخش ۱)
- بازنمایی: BoW / TF-IDF / Embedding (بخش ۲)
- تقسیم: Train / Test
- آموزش مدل: Naive Bayes، Logistic Regression، SVM یا شبکه عصبی
- ارزیابی: دقت، Precision/Recall، F1
- استقرار: پیش‌بینی روی متن جدید!
کدام الگوریتم؟
| الگوریتم | مزیت | مناسب برای |
|---|---|---|
| Naive Bayes | سریع، کم‌داده | اسپم، پایه قوی |
| Logistic Regression | ساده و تفسیرپذیر | شروع خوب |
| SVM | دقت بالا در متن | دسته‌بندی کلاسیک |
| شبکه عصبی/ترنسفورمر | بهترین دقت | داده زیاد، مسئله سخت |
چالش‌های واقعی
- داده کافی: هزاران نمونه برچسب‌دار لازم است
- داده نامتوازن: ۹۵٪ اسپم، ۵٪ عادی — دقت گمراه‌کننده!
- ایرونی و طنز: «چه عالی! دوباره خراب شد»
- توزیع متغیر: زبان و موضوع‌ها با زمان تغییر می‌کنند
نکته: همیشه با پایه ساده (TF-IDF + Naive Bayes/LogReg) شروع کنید! اگر دقت کافی نبود، سراغ مدل‌های پیچیده بروید. این «baseline» استاندارد صنعت است.
جمع‌بندی
- دسته‌بندی متن = برچسب‌گذاری خودکار؛ پرکاربردترین مسئله NLP
- پایپ‌لاین: داده ← پیش‌پردازش ← برداری ← مدل ← ارزیابی
- اول baseline ساده، بعد پیچیدگی
- مراقب داده نامتوازن و ایرونی باشید
این مبحث بخشی از دوره آموزش کامل پردازش زبان طبیعی (NLP) است.