بارگذاری و بررسی داده

اولین قدم: شناخت داده

قبل از هر مدل‌سازی، باید داده را بارگذاری و بشناسیم. این مرحله «EDA» یا تحلیل کاوشی داده نام دارد.

بارگذاری از CSV

import pandas as pd

df = pd.read_csv("houses.csv")

# پارامترهای مفید
df = pd.read_csv("data.csv", sep=";", encoding="utf-8")

پنج ابزار بررسی اولیه

df.head()      # ۵ سطر اول - دیدن ساختار
df.shape       # (سطر, ستون)
df.info()      # نوع ستون‌ها + مقادیر گمشده
df.describe()  # آمار عددی
df["شهر"].value_counts()  # فراوانی دسته‌ها

تفسیر describe

چک‌لیست بررسی داده

1. آیا تعداد سطر و ستون با انتظار من مطابقت دارد؟
2. آیا نوع ستون‌ها درست است؟ (رشته به‌جای عدد؟)
3. آیا مقدار گمشده داریم؟
4. آیا مقدار غیرمنطقی داریم؟ (سن منفی، قیمت صفر)
5. توزیع برچسب‌ها چگونه است؟ (متوازن یا نه؟)

جمع‌بندی

• با read_csv داده را بارگذاری کنید
• head، info، describe و value_counts ابزارهای شناخت داده‌اند
• هرگز بدون بررسی داده، مدل نسازید