پروژه: چت‌بات ساده و جستجوی معنایی
پروژه عملی: ساخت چت‌بات پرسش-پاسخ فارسی با بازیابی و شباهت کسینوسی + جستجوی معنایی در پایگاه دانش
معرفی پروژه
در این پروژه دو سیستم مرتبط می‌سازیم:
- چت‌بات پرسش-پاسخ: سؤال کاربر ← نزدیک‌ترین سؤال ذخیره‌شده ← پاسخ آماده
- جستجوی معنایی: پیدا کردن اسناد بر اساس «معنی» نه فقط کلمات
معماری Retrieval-Based
ساده‌ترین و عملی‌ترین نوع چت‌بات:
- پایگاه دانش: جفت‌های (سؤال، پاسخ)
- سؤال جدید کاربر ← برداری‌سازی
- پیدا کردن نزدیک‌ترین سؤال (شباهت کسینوسی)
- اگر شباهت بالای آستانه ← پاسخ آن سؤال را بده
- وگرنه: «متوجه نشدم» یا ارجاع به اپراتور
چرا TF-IDF + کسینوسی؟
- بدون نیاز به GPU و مدل بزرگ
- شفاف و قابل دیباگ
- برای پایگاه دانش متوسط، دقت عالی
- ارتقا: جایگزینی با بردارهای ترنسفورمر (ParsBERT) — همان ساختار!
پیش‌پردازش مشترک
هر دو سیستم از همان پایپ‌لاین فارسی (نرمال‌سازی + توکن + ریشه) استفاده می‌کنند — باز استفاده از آموخته‌ها!
ایده‌های توسعه
- افزودن تشخیص «احساس» کاربر (اگر عصبانی ← اولویت پاسخ)
- حافظه گفتگو (زمینه سؤال قبلی)
- ترکیب با LLM برای پاسخ‌های تولیدی (RAG!)
- رابط کاربری وب
نکته: معماری RAG (تولید با بازیابی) که امروز همه‌جا هست، دقیقاً همین ایده است: بازیابی اسناد مرتبط + تولید پاسخ با LLM. شما اینجا هسته‌اش را می‌سازید!
جمع‌بندی
- چت‌بات بازیابی: نزدیک‌ترین سؤال ← پاسخ آماده
- شباهت کسینوسی + TF-IDF = موتور تطبیق
- آستانه شباهت = کنترل کیفیت پاسخ
- پایه‌ای برای فهم RAG و دستیارهای هوشمند
این مبحث بخشی از دوره آموزش کامل پردازش زبان طبیعی (NLP) است.