مدل زبانی چیست؟

مدل زبانی چیست؟

مدل زبانی (Language Model) مدلی که احتمال دنباله‌های کلمات را می‌سنجد:

• احتمال یک جمله: «من به مدرسه می‌روم» محتمل‌تر از «من به مدرسه می‌خوابم»
• پیش‌بینی کلمه بعدی: «نان را ...» ← خوردم؟ خریدم؟ بریدم؟

این ایده ساده، پایه تقریباً همه NLP مدرن است!

چرا احتمال جمله مهم است؟

• تشخیص غلط تایپی: جمله غلط، احتمال کمتر — «کلید گم شد» vs «کلید گم شد»
• ترجمه ماشینی: بهترین ترجمه = محتمل‌ترین جمله معادل
• تشخیص گفتار: از بین جملات هم‌صدا، محتمل‌ترین را انتخاب کن
• تولید متن: کلمه به کلمه با پیش‌بینی محتمل‌ترین ادامه

فرمول

P(w1, w2, ..., wn) = P(w1) × P(w2|w1) × ... × P(wn|w1...wn-1)

احتمال جمله = حاصل‌ضرب احتمال هر کلمه با شرط قبلی‌ها

مثلاً: P(«من به مدرسه») = P(«من») × P(«به»|«من») × P(«مدرسه»|«من به»)

کاربردهای آشنا

شما هر روز با مدل زبانی کار می‌کنید:

• پیش‌بینی کلمه کیبورد: سه کلمه پیشنهادی بالای کیبورد = خروجی مدل زبانی!
• تصحیح خودکار: «بریم خونه» ← «بریم خانه»
• جستجو: تکمیل خودکار کوئری
• ChatGPT: کل مکالمه = پیش‌بینی کلمه بعدی (در مقیاس عظیم!)

تکامل مدل‌های زبانی

جمع‌بندی

• مدل زبانی = محاسبه احتمال دنباله کلمات
• پیش‌بینی کلمه بعدی، کاربرد مرکزی آن
• پایه: ترجمه، تشخیص گفتار، تصحیح، تولید متن
• از n-gram آماری تا ترنسفورمر — تکامل مستمر