#\s는 공백을 의미하고, +는 하나 이상의 연속된 공백을 의미 공백으로 구분된 값을 올바르게 읽음
#데이터 파일의 처음 22행을 건너뛰고 읽기 시작하도록 지시합니다. 이 데이터셋의 상단에는 설명 텍스트와 같은 메타데이터가 포함되어 있기 때문입니다.
# header=None: 이 인자는 데이터 파일에 열 이름이 없음을 나타냅니다. 기본적으로 read_csv 함수는 첫 번째 행을 열 이름으로 사용하려고 시도합니다.
# header=None 인자는 이 동작을 중지하고, 대신 열 이름으로 숫자 인덱스를 사용
raw_df
데이터를 보니까 짝수행은 현재 3열까지만 자료가 나오고 이후 결측값으로 나오고 있네요. 일단 짝수행의 2열까지 옆으로 붙여서 만들고 이후 독립변수와 종속변수(본인소유주택가격)를 나누겠습니다. 좀더 자세히 설명하면 0,2,4,6,.. 짝수행을 추출 그리고 1,3,4,,,홀수행 에서 2열까지(칼럼 숫자 0,1) 추출. 이후 hstack으로 가로방향으로 연결. 그러면 독립변수는 짝수행에서 11개 홀수행에서 2개 총 13개가 됩니다. 그리고 홀수행(1,3,5..) 3열(칼럼숫자 2)를 빼서 종속변수로 만듭니다.
X=np.hstack([raw_df.values[::2, :], raw_df.values[1::2, :2]]) #독립변수 13개
matplotlib 라이브러리를 이용하여 독립 변수 데이터셋 X의 분포를 히스토그램으로 시각화하겠습니다.
importmatplotlib.pyplotasplt
#독립 변수 데이터셋인 X를 1차원 배열로 변환합니다. 이렇게 하면 각 독립 변수의 값을 하나의 배열로 볼 수 있습니다
plt.hist(X.flatten(), bins=30); #독립변수 데이터분포 살펴보기
#생성한 1차원 배열의 히스토그램을 그립니다. bins=30은 히스토그램의 구간 개수를 30으로 설정합니다. 구간 개수가 높을수록 데이터의 분포가 더 세밀하게 표현됩니다.
#bins히스토그램에서 데이터를 나누는 구간의 개수를 의미
히스토그램
흠... 데이터가 0~100에 많이 분포되어 있음을 확인했습니다.
데이터셋의 모든 변수들(독립 변수와 종속 변수) 간의 상관계수 행렬을 계산하고, 이를 히트맵으로 시각화하겠습니다. 이를 통해 다중공선성이 있는 변수들을 확인할 수 있습니다. 상관계수는 -1부터 1까지의 값을 가지며, 절댓값이 1에 가까울수록 두 변수 간의 선형 관계가 강하다는 것을 의미합니다. 보통 상관계수의 절댓값이 0.7~0.8 이상일 때 두 변수 간에 높은 상관관계가 있다고 판단합니다.
importseabornassns
# 이 코드는 Boston Housing 데이터셋의 모든 변수들(독립 변수와 종속 변수) 간의 상관계수 행렬을 계산하고, 이를 히트맵으로 시각화합니다.
# heatmap 함수를 사용하여 상관계수 행렬을 히트맵으로 시각화합니다. annot=True로 설정하여 각 셀에 상관계수 값을 표시하고, cmap='YlGnBu'로 컬러맵을 설정
plt.show()
상관계수 히트맵
흠... 몇몇 독립변수가 상관계수가 높음을 확인했습니다.
이제 데이터의 분포가 고르지 않은걸 알았으니 스케일링을 해보겠습니다. 우선 스케일링과 표준화는 서로 다른 개념입니다.
스케일링: 데이터의 범위를 특정 범위(예: 0과 1 사이)로 변경하는 과정을 의미합니다. 스케일링은 데이터의 최소값과 최대값을 사용하여 변환합니다. 이는 MinMaxScaler와 같은 도구를 사용하여 수행됩니다.
표준화: 데이터의 평균을 0, 표준 편차를 1로 만드는 과정을 의미합니다. 표준화는 각 데이터에서 평균을 뺀 후 표준 편차로 나누는 방식으로 수행됩니다. 이는 StandardScaler와 같은 도구를 사용하여 수행됩니다.
둘 다 데이터의 범위를 조절하거나 분포를 변경하는 데 사용되지만, 적용하는 방식과 결과가 다릅니다. 예를 들어, 데이터가 정규 분포를 따르는 것이 중요한 경우 표준화를 사용하며, 모든 피처 값을 동일한 범위로 제한하려는 경우 스케일링을 사용할 수 있습니다. 저희는 후자이므로 스케일링을 하겠습니다.
이 코드는 Boston Housing 데이터셋의 독립 변수들을 전처리하기 위해 MinMaxScaler를 사용합니다. MinMaxScaler는 데이터의 값 범위를 특정 범위(여기서는 0에서 5)로 조정합니다.
fromsklearn.preprocessingimportMinMaxScaler#클래스는 데이터를 특정 범위로 스케일링하는 기능을 제공합니다.
#각 데이터셋의 차원(모양)을 출력합니다. 이 값은 분할된 데이터셋의 크기를 확인하는 데 도움이 됩니다.
((354, 13), (152, 13), (354, 1), (152, 1))
스케일도 했고 데어터셋도 나눴고 이제는 모델을 적용하여 학습시켜보겠습니다.
OLS (Ordinary Least Squares)
선형 회귀 분석에서 가장 널리 사용되는 방법입니다. OLS 방법은 종속 변수와 독립 변수 사이의 선형 관계를 찾기 위해 최소제곱법을 사용합니다. 이 방법은 모델의 예측값과 실제 관측값 사이의 오차의 제곱합을 최소화하는 회귀 계수를 찾습니다. 이 최소화 문제는 실제로 미분을 이용한 최적화 문제로서 해결할 수 있으며, 이때 사용하는 방법이 저희가 배운 정규 방정식 (Normal Equation)을 사용합니다.
이 코드는 sklearn.linear_model 모듈의 LinearRegression 클래스를 사용하여 선형 회귀 모델을 학습하고, 학습된 모델의 계수(coefficients)와 절편(intercept)을 출력합니다
.
fromsklearn.linear_modelimportLinearRegression
#LinearRegression 클래스를 불러옵니다. 이 클래스는 선형 회귀 모델을 생성하고 학습하는 기능을 제공합니다.
ols_reg=LinearRegression()
#LinearRegression 객체를 생성하여 ols_reg 변수에 저장합니다.
ols_reg.fit(X_train, y_train) #학습데이터를 통하여 선형모델 생성
#학습 데이터셋(X_train, y_train)을 사용하여 선형 회귀 모델을 학습시킵니다.
print('Coefficients: ', ols_reg.coef_)
#학습된 선형 회귀 모델의 계수(coefficients)를 출력합니다. 계수는 각 독립 변수에 대응하는 선형 관계의 기울기를 나타냅니다.
print('Intercept: ', ols_reg.intercept_)
#: 학습된 선형 회귀 모델의 절편(intercept)을 출력합니다. 절편은 선형 회귀식에서 상수항을 나타냅니다
추가적으로 산점도를 통해 모델의 예측 성능을 시각적으로 평가할 수 있습니다. 예측값과 실제 값이 비슷하다면 점들이 대각선에 가까울 것입니다. 반면 예측값과 실제 값이 차이가 크다면 점들이 대각선에서 멀어질 것입니다. 이를 통해 모델이 데이터를 얼마나 잘 예측하는지 파악할 수 있습니다.
plt.scatter(y_test, y_pred_ols, s=10, c='green')
plt.xlabel("Prices: $Y_i$")
plt.ylabel("Predicted prices: $\hat{Y}_i$")
plt.title("Prices vs Predicted prices: $Y_i$ vs $\hat{Y}_i$")
하지만 지금 데이터 독립 변수 간에 다중 공선성이 존재하기 때문에 과적합이 발생할 수 있습니다. 이 경우, 모델이 학습 데이터에 지나치게 적합되어 새로운 데이터에 대한 예측 성능이 저하됩니다. 막아야겠죠? 다음 게시글에서 릿지, 라쏘로 예측 성능이 올라가는지 한번 확인해보겠습니다.
