پردازش زبان فارسی

چالش‌های خاص پردازش زبان فارسی: نیم‌فاصله، صرف پیچیده، راست‌به‌چپ و ابزارهای فارسی (hazm و ParsBERT)

فارسی: زبان زیبا و چالش‌برانگیز

پردازش فارسی چالش‌های خاص خودش را دارد که آن را از انگلیسی متمایز می‌کند — و همین، فرصت طلایی برای متخصصان فارسی‌زبان است!

فارسی زبان تصریفی است — کلمات از قطعات ساخته می‌شوند:

"نمی‌توانستمند" = ن + می + توان + است + ند
(نفی + زمان + ریشه + زمان + شخص/جمع)

یک فعل می‌تواند ده‌ها شکل داشته باشد! ریشه‌یابی فارسی هنر است.

ابزار	کار
hazm	پیش‌پردازش کامل: نرمال‌سازی، توکن، ریشه، POS
ParsBERT	ترنسفورمر آموزش‌دیده فارسی (HooshvareLab)
mT5 / mBERT	مدل‌های چندزبانه با پشتیبانی فارسی
پیکره‌ها	پیکره فارسی، PerDT، Sentiment فارسی

اکثر مدل‌ها و ابزارها انگلیسی‌محورند؛ فارسی بازار کم‌رقابت و پرنیاز است:

نکته: تسلط بر «NLP + فارسی» ترکیب کمیاب و ارزشمند است — شما با دانستن هر دو، در بازار کار فارسی‌زبان مزیت جدی دارید!