رگرسیون خطی در آمار

رگرسیون خطی چیست؟

رگرسیون خطی (Linear Regression) یعنی کشف خط بهترین برازش روی داده‌ها؛ خطی که رابطه بین متغیر مستقل (x) و متغیر وابسته (y) را بهترین شکل توصیف می‌کند:

y = a + b × x

• b (شیب): با یک واحد افزایش x، چند واحد y تغییر می‌کند
• a (عرض از مبدأ): مقدار y وقتی x صفر است

تفاوت با همبستگی: همبستگی فقط می‌گوید «رابطه چقدر قوی است»؛ رگرسیون مدل می‌سازد و اجازه پیش‌بینی می‌دهد.

روش کمترین مربعات (Least Squares)

چطور «بهترین» خط را پیدا کنیم؟ معیار: خطی که مجموع مربع خطاها (SSE) را کمینه کند. خطا (Residual) یعنی فاصله عمودی هر نقطه از خط:

خطا = مقدار واقعی y − مقدار پیش‌بینی خط

فرمول‌های استاندارد (که پایتون برای ما محاسبه می‌کند):

b = Σ((x−x̄)(y−ȳ)) / Σ((x−x̄)²)
a = ȳ − b × x̄

مثال گام‌به‌گام

ساعات مطالعه و نمره: (۲,۱۰) (۴,۱۲) (۶,۱۴) (۸,۱۶)

1. میانگین x = ۵ و میانگین y = ۱۳
2. با فرمول بالا: b = ۱ و a = ۸
3. خط رگرسیون: نمره = ۸ + ۱ × ساعت
4. پیش‌بینی برای ۷ ساعت مطالعه: ۸ + ۷ = ۱۵

تفسیر: هر ساعت مطالعه اضافه، به‌طور میانگین ۱ نمره اضافه می‌آورد؛ و بدون مطالعه (۰ ساعت) نمره پایه ۸ انتظار می‌رود.

ارزیابی کیفیت مدل: R²

ضریب تعیین (R²) بین ۰ تا ۱ است و می‌گوید مدل چه سهمی از تغییرات y را توضیح می‌دهد:

• R² = ۰.۸ ← مدل ۸۰٪ تغییرات نمره را با ساعت مطالعه توضیح می‌دهد
• R² = ۱ ← برازش کامل (نادر در داده واقعی)

نکته جالب: در رگرسیون ساده، R² برابر مربع ضریب همبستگی است (r²).

هشدارهای مهم

• پیش‌بینی فقط در محدوده داده معتبر است: اگر داده شما تا ۱۰ ساعت مطالعه است، پیش‌بینی برای ۱۰۰ ساعت بی‌معناست (Extrapolation)
• رگرسیون فقط رابطه خطی را مدل می‌کند
• مثل همبستگی، رگرسیون هم علیت را ثابت نمی‌کند
• داده پرت می‌تواند خط را کاملاً منحرف کند

جمع‌بندی

• رگرسیون خطی خط y = a + bx را از داده یاد می‌گیرد
• روش کمترین مربعات، مجموع مربع خطاها را کمینه می‌کند
• شیب = اثر هر واحد x روی y؛ R² کیفیت برازش را می‌گوید
• پیش‌بینی خارج از محدوده داده معتبر نیست