استخراج کلمات کلیدی
استخراج کلمات کلیدی: سه روش فراوانی، TF-IDF و TextRank — خلاصه‌سازی خودکار موضوع متن در چند کلمه
چرا کلمات کلیدی؟
در دنیای سرشار از متن، خلاصه موضوع هر متن در چند کلمه ارزشمند است: تگ‌گذاری خودکار مقالات، SEO، دسته‌بندی، جستجو و داشبورد موضوعی.
روش ۱: فراوانی (ساده‌ترین)
پرتکرارترین کلمات (بعد از حذف stopwords) = کلیدواژه‌ها. ساده اما محدود: «خوب» و «بود» هم پرتکرارند!
روش ۲: TF-IDF (آماری)
کلماتی که در این متن زیاد اما در بقیه متون کم‌اند — تمایزدهنده‌های واقعی. (مبحث TF-IDF را به یاد آورید.)
روش ۳: TextRank (گرافی — مدرن)
ایده هوشمندانه از PageRank گوگل:
- کلمات مهم متن را به‌عنوان گره‌های گراف بگذار
- کلماتی که کنار هم می‌آیند، به هم وصل شوند
- کلمه «مهم» = کلمه‌ای که به کلمات مهم زیادی وصل است!
مثل شهرت اجتماعی: معروف کسی است که معروف‌ها می‌شناسندش!
مقایسه روش‌ها
| روش | مزیت | عیب | نیاز |
|---|---|---|---|
| فراوانی | ساده و سریع | کلمات عمومی | هیچ |
| TF-IDF | تمایزدهنده ✓ | نیاز به مجموعه سند | corpus |
| TextRank | فقط خود سند ✓ | کندتر | فقط همین متن |
از کلمه تا عبارت کلیدی
گاهی کلیدواژه‌ها عبارت‌اند نه کلمه: «یادگیری ماشین»، «هوش مصنوعی». با ترکیب n-gramهای پرتکرار یا chunking (گروه اسمی)، عبارات کلیدی استخراج می‌شوند.
کاربردها
- تگ‌گذاری خودکار: مقالات و اخبار
- SEO: کلمات کلیدی رقیب را استخراج کن!
- جستجو و ایندکس: ایندکس معنایی سبک
- خلاصه‌سازی: جملات حاوی کلیدواژه‌ها = خلاصه!
- داشبورد موضوعی: ترندهای متن‌های سازمان
نکته: ترکیب برنده در عمل: استخراج نامزدها (اسم/عبارت با POS) + رتبه‌بندی با TextRank/TF-IDF — دقیقاً کاری که کتابخانه‌هایی مثل KeyBERT (با بردارهای BERT!) انجام می‌دهند.
جمع‌بندی
- کلمات کلیدی = DNA موضوعی متن
- سه روش: فراوانی (ساده)، TF-IDF (تمایز)، TextRank (گرافی)
- عبارات کلیدی با n-gram و گروه‌های اسمی
- کاربرد: تگ، SEO، خلاصه‌سازی، جستجو
این مبحث بخشی از دوره آموزش کامل پردازش زبان طبیعی (NLP) است.