رگرسیون لجستیک

رگرسیون لجستیک چیست؟

با وجود اسم «رگرسیون»، این الگوریتم برای دسته‌بندی است! خروجی آن یک احتمال بین ۰ و ۱ است که با آستانه (معمولاً ۰.۵) به کلاس تبدیل می‌شود.

تابع سیگموید

قلب الگوریتم، تابع S شکل سیگموید است که هر عدد را به بازه (۰، ۱) می‌برد:

σ(z) = 1 / (1 + e^(-z))

• z بزرگ و مثبت → خروجی نزدیک ۱
• z بزرگ و منفی → خروجی نزدیک ۰
• z = 0 → خروجی ۰.۵

چگونه تصمیم می‌گیرد؟

1. مقدار خطی z = a₁x₁ + a₂x₂ + ... + b محاسبه می‌شود
2. با سیگموید به احتمال تبدیل می‌شود: p = σ(z)
3. اگر p ≥ 0.5 → کلاس ۱، وگرنه کلاس ۰

پیاده‌سازی

from sklearn.linear_model import LogisticRegression

model = LogisticRegression()
model.fit(X_train, y_train)

# احتمال کلاس‌ها
probs = model.predict_proba(X_test)

# کلاس نهایی
preds = model.predict(X_test)

آستانه تصمیم

آستانه ۰.۵ همیشه بهترین نیست! در تشخیص بیماری، شاید آستانه ۰.۳ بهتر باشد تا موارد مشکوک کمتر از قلم بیفتند (Recall بالاتر). آستانه را بر اساس هزینه خطا تنظیم کنید.

مزایا و معایب

جمع‌بندی

• رگرسیون لجستیک دسته‌بند احتمالی است
• سیگموید خروجی را به (۰،۱) می‌برد
• آستانه تصمیم بر اساس هزینه خطا تنظیم می‌شود