جاسازی کلمات (Word Embeddings)
بردارهای معنایی کلمات: ایده Word2Vec، فضای معنایی چندبعدی و معادله معروف king-man+woman=queen
انقلاب معنایی
BoW و TF-IDF کلمات را «کیسه اعداد» می‌بینند: «گوشی» و «موبایل» دو موجود کاملاً جدا هستند! اما Embedding کلمات را به بردارهای متراکم معنایی تبدیل می‌کند که کلمات هم‌معنا، بردار نزدیک دارند.
ایده اصلی: «کلمه را با همسایه‌هایش بشناس»
فرضیه توزیعی (Distributional Hypothesis): کلماتی که در بافت‌های مشابه می‌آیند، معنای مشابه دارند:
- «گوشی را روشن کردم» / «موبایل را روشن کردم» ← بافت یکسان!
- پس بردارهایشان باید نزدیک باشند
فضای معنایی
هر کلمه = نقطه‌ای در فضای مثلاً ۳۰۰ بُعدی. این ابعاد قابل تفسیر مستقیم نیستند اما هندسه‌شان معنا دارد:
- نزدیکی = شباهت معنایی
- جهت‌ها = روابط معنایی
معادله معروف
بردار(پادشاه) − بردار(مرد) + بردار(زن) ≈ بردار(ملکه)بردار «جنسیت» که از رابطه مرد-زن استخراج شده، روی «پادشاه» اعمال می‌شود و به «ملکه» می‌رسد! روابط دیگر:
- تهران − ایران + فرانسه ≈ پاریس (رابطه پایتخت)
- رفت − برو + بیا ≈ آمد (رابطه زمان فعل)
Word2Vec — دو معماری
| معماری | کار | ویژگی |
|---|---|---|
| CBOW | از بافت، کلمه را پیش‌بینی کن | سریع‌تر |
| Skip-gram | از کلمه، بافت را پیش‌بینی کن | بهتر برای کلمات نادر |
هر دو با شبکه عصبی ساده و روی میلیاردها جمله آموزش می‌بینند — نتیجه: بردارهای معنایی شگفت‌انگیز.
مقایسه با TF-IDF
| ویژگی | TF-IDF | Embedding |
|---|---|---|
| نوع بردار | خلوت (sparse) و بلند | متراکم و کوتاه ✓ |
| شباهت معنایی | فقط لفظی | معنایی ✓✓ |
| کلمات هم‌معنا | متفاوت | نزدیک ✓ |
| قابل تفسیر | بله ✓ | سخت |
| نیاز به داده آموزش | خیر | بله (یا مدل آماده) |
از کلمه تا مدل‌های مدرن
ایده embedding قلب همه مدل‌های مدرن است: BERT و GPT هم اول توکن‌ها را به بردار تبدیل می‌کنند — فقط بردارها بافت‌محور شده‌اند (یک کلمه در جمله‌های مختلف، بردار متفاوت!). مبحث‌های پایانی دوره.
جمع‌بندی
- Embedding: کلمه ← بردار متراکم معنایی
- پایه: کلمات با بافت مشابه، معنای مشابه
- هندسه فضا معنادار: king−man+woman≈queen
- پایه BERT و GPT — فقط بافت‌محورتر
این مبحث بخشی از دوره آموزش کامل پردازش زبان طبیعی (NLP) است.