برچسبگذاری اجزای کلام (POS Tagging)
برچسبگذاری اجزای کلام: تشخیص اسم، فعل، صفت و... هر کلمه؛ کاربردها و روشهای انجام آن
POS Tagging چیست؟
برچسبگذاری اجزای کلام (Part-of-Speech Tagging) یعنی برای هر کلمه جمله، نقش دستوری آن را مشخص کنیم: اسم؟ فعل؟ صفت؟ حرف اضافه؟
"علی کتاب جدید خرید"
اسم اسم صفت فعل
چرا مهم است؟ رفع ابهام!
همان کلمه، نقشهای مختلف:
- «کتاب» در «کتاب خواندم» اسم است اما در «کتابخانه» جزء کلمه مرکب
- «سفید» در «گل سفید» صفت، در «سفیدی برف» اسم
- انگلیسی: «book» = اسم (کتاب) یا فعل (رزرو کردن)!
نقش کلمه، از بافت مشخص میشود — و این دقیقاً کاری است که POS Tagger انجام میدهد.
برچسبهای رایج
| برچسب | نقش | مثال فارسی |
|---|---|---|
| N (Noun) | اسم | کتاب، علی، تهران |
| V (Verb) | فعل | رفت، میخواند |
| ADJ (Adjective) | صفت | خوب، بزرگ |
| ADV (Adverb) | قید | خیلی، سریع |
| P (Preposition) | حرف اضافه | در، به، از |
| PRO (Pronoun) | ضمیر | او، ما |
| NUM | عدد | سه، ۱۲۳ |
روشهای POS Tagging
- قاعدهمحور: دیکشنری + قواعد (اگر بعد از «را» آمد اسم است)
- آماری: HMM — احتمال دنباله برچسبها از داده آموزش
- عصبی: مدلهای مدرن با دقت بالای ۹۷٪!
کاربردها
- ریشهیابی دقیقتر: Lemmatizer به POS نیاز دارد
- استخراج اطلاعات: موجودیتها معمولاً اسماند
- جستجوی پیشرفته: «کتاب» بهعنوان فعل یا اسم؟
- ترجمه ماشینی: نقش کلمات برای ترجمه درست حیاتی است
- تحلیل نحوی: پایه پارس درخت جمله
نکته: برای فارسی، hazm دارای POS Tagger آماده است (بر اساس مدل آماری). برای انگلیسی، spaCy بهترین گزینه است.
جمعبندی
- POS: نقش دستوری هر کلمه (اسم/فعل/صفت...)
- بافت، ابهام نقش را حل میکند
- پایه ریشهیابی دقیق، NER و پارس نحوی
- از قاعدهمحور تا عصبی؛ دقت امروز بالای ۹۷٪
این مبحث بخشی از دوره آموزش کامل پردازش زبان طبیعی (NLP) است.