[머신러닝 기초] 지도학습 - 회귀

우리는 회귀를 통해 Loss 함수를 최소값으로 만드는 β0​, β1를 쉽게 구해줄 수 있다. 

 

📌 Loss 함수란? 실제 값과 예측 값 차이의 제곱의 합을 말한다. 

  ✔️ Loss 함수가 작을 수록 좋은 모델이라고 할 수 있다.  

 

단순 선형 회귀에서의 Loss 함수 계산식

위의 값을 최소로 하기 위해서는 Gradient 값을 계산하는 경사 하강법을 이용하면 되는데, 이는 나중에 다뤄보겠다. 

 

1. 단순 선형 회귀

X = [8.70153760, 3.90825773, 1.89362433, 3.28730045, 7.39333004, 2.98984649, 2.25757240, 9.84450732, 9.94589513, 5.48321616]
Y = [5.64413093, 3.75876583, 3.87233310, 4.40990425, 6.43845020, 4.02827829, 2.26105955, 7.15768995, 6.29097441, 5.19692852]

 

다음과 같이 데이터 셋이 주어진다고 하자. 

현재는 단순 선형 회귀 이기에 X 변수가 하나만 존재하지만, 다중 선형 회귀 부터는 여러개의 X variables 가 존재하므로

우리는 X 값들은 DataFrame에 저장하고,

Y 값들은 label 의 값들로 하나의 column 만이 존재하기에 series에 저장해 줄 것이다. 

아래는 series 를 선언하는 2가지 방법에 대해 설명해 놓은 글이다. 

 

Series 선언시에 인덱스 값을 따로 넣지 않고 데이터 값 만을 넣어주면 인덱스에 자동으로 0부터 시작하는 양의 정수로 정의되어 만들어진다.	data_list = [1, 2, 3, 4, 5] series = Series(data=data_list) series 0    1 1    2 2    3 3    4 4    5 dtype: int64
만약 인덱스도 같이 정의를 해주면, 인덱스와 데이터 값이 같이 정의되어 만들어진다.	data_list = [1, 2, 3, 4, 5] index_list = ["a", "b", "c", "d", "e"] series = Series(data=data_list, index=index_list) series a    1 b    2 c    3 d    4 e    5 dtype: int64

출처: https://nov19.tistory.com/108 [개발개발:티스토리]

 

"""
1. X의 형태를 변환하여 train_X에 저장합니다.
"""
train_X = pd.DataFrame(X, columns=['X'])

"""
2. Y의 형태를 변환하여 train_Y에 저장합니다.
"""
train_Y = pd.Series(data = Y)

 

후에 sklearn 라이브러리의 'LinearRegression' 함수를 이용하여, 선형 회귀 함수를 구해주도록 할 것이다. 

먼저 lrmodel 에 모델 객체를 초기화 해준다. 

 

lrmodel = LinearRegression()

 

후에 'fit' 함수를 이용하여 초기화 된 객체에 학습에 필요한 데이터들을 입력하여 학습을 수행해준다. 

 

lrmodel.fit(train_X, train_Y)

 

만든 함수를 좌표 평면에 점들과 함께 시각화해주면 다음과 같이 나타난다. 

 

단순 선형 회귀의 그래프

---

2. 다중 선형 회귀

 

DataFrame : Sales 의 일부

 

다중 선형 회귀은 데이터의 여러 변수(features) X를 이용해서 결과 Y를 예측하는 모델이다.

광고 비용에 따른 수익률을 머신러닝을 통해 예측한다면, 어떤 광고 플랫폼이 중요한 요소인지 판별이 가능하다. 

FaceBook, TV, Newspaper 광고에 대해 비용 대비 Sales 데이터가 주어졌을 때 이를 다중 선형 회귀로 분석해볼 것이다. 

 

먼저 X와 y에 들어갈 변수 값들을 결정해준다. 

 

# 입력 변수로 사용하지 않는 column을 제거해준다.
df = df.drop(columns=['Unnamed: 0'])

# drop 함수를 이용하여 X와 y에 들어갈 변수 값들을 결정해준다. 
X = df.drop(columns=['Sales'])
Y = df['Sales']

 

후에, 지난 포스팅 때 다룬 train_test_spliit 함수를 사용하여 학습용과 평가용 데이터로 분리시켜주면 된다. 

 

train_X, test_X, train_Y, test_Y = train_test_split(X, Y, test_size=0.2, random_state=42)

 

train할 데이터와 test할 데이터의 비율을 8:2로 설정해주었다. 

 

다중 선형 회귀 모델을 초기화하고 학습하는 방식은 단순 선형 회귀 때와 같다. 

 

lrmodel = LinearRegression()
lrmodel.fit(train_X, train_Y)

 

LinearRegression 함수를 통해 초기화 시켜준 후에, 우리가 가공해 놓은 학습용 데이터들을 fit 해주면 된다. 

 

lrmodel(다중 선형 회귀) 의 식

lrmodel에 담긴 다중 선형 회귀 함수의 형태는 위의 식으로 표현될 것이다.

(X1 = FB, X2 = TV, X3 = Newspaper)

---

이때, 각 변수 앞에 붙은 계수인 베타 값들이 얼마인지를 알아보고 싶다면 다음과 같은 함수를 사용하면 된다. 

intercept_ : 다중 선형 회귀 함수의 β0 값을 나타낸다.
coef_[i] : i+1 번째 변수에 곱해지는 파라미터 값을 의미한다.

 

beta_0 = lrmodel.intercept_ # y절편 (기본 판매량)
beta_1 = lrmodel.coef_[0] # 1번째 변수에 대한 계수 (페이스북)
beta_2 = lrmodel.coef_[1] # 2번째 변수에 대한 계수 (TV)
beta_3 = lrmodel.coef_[2] # 3번째 변수에 대한 계수 (신문)

 

​위 처럼 각각의 베타 값들을 구해줄 수 있다. 

---

이제는 평가용 데이터들을 구해준 다중 선형 회귀 식을 사용을 이용해 예측해주기만 하면 된다. 

sklearn 라이브러리의 predict 함수를 사용하여 예측이 가능하다.

 

pred_X = lrmodel.predict(test_X)

 

test_X에 대한 predict 값들

---

3. 회귀 평가 지표

우리가 회귀를 통해 구해준 식이 어느정도의 정확도와 성능인지를 판단해주기 위해 여러가지 평가 지표들이 존재한다. 

 

1. RSS

평균 제곱 오차로, 실제 값과 예측 값의 단순 오차의 제곱 합이다. 값이 작을수록 모델의 성능이 높다고 할 수 있다. 

 

 

그러나 오차를 그대로 이용하기 때문에 입력 값의 절대적인 크기에 의존적이다. 

ex) label 값이 10정도인 것과, 1000정도인 경우에 대해 절대적인 크기가 클수록 오차도 커지기에, 단순 오차의 제곱 합도 커진다.

 

2. MSE

평균 제곱 오차로, RSS에서 데이터 수 만큼으로만 나누어준 값이다. 값이 작을수록 모델의 성능이 높다고 할 수 있다. 

 

 

전체를 데이터 수만큼으로 나누어준 평균 값이기 때문에, 데이터들 중 크게 떨어진 값에 따라 민감하게 변한다. 

 

3. MAE

평균 절대값 오차로, 실제 값과 예측 값의 오차의 절대값의 평균이다. 값이 작을수록 모델의 성능이 높다고 할 수 있다. 

 

 

이또한, MSE와 마찬가지로 전체를 데이터 수만큼으로 나누어준 평균 값이기 때문에, 데이터들 중 크게 떨어진 값에 따라 민감하게 변한다. 

 

4. R² (결정 계수)

회귀 모델의 설명력을 표현하는 지표로 1에 가까울 수록 성능이 높다고 할 수 있다. 

 

 

여기서 TSS 는 데이터 평균 값과 실제 값 차이의 제곱의 합이다. (분산)

 

 

R² 은 오차가 없을수록 1에 가까운 값을 가진다. 값이 0일 경우, 데이터의 평균 값을 출력하는 직선 모델을 의미한다.

 

 

음수 값이 나온 경우에는, 평균 값 예측보다 성능이 좋지 않은 모델이기에 설계를 다시 해볼 필요가 있을 것이다. 

---

위의 Sales 예측 모델의 성능을 평가하기 위해 다양한 평가지표를 사용해서 비교를 해보았다.

먼저, MSE와 MAE 값이다. 

 

MSE_train = mean_squared_error(train_Y, pred_train)
MAE_train = mean_absolute_error(train_Y, pred_train)
print('MSE_train : %f' % MSE_train)
print('MAE_train : %f' % MAE_train)

 

mean_squared_error(y_true, y_pred) : MSE 값 계산

mean_absolute_error(y_true, y_pred) : MAE 값 계산

 

다음은, R² 계산이다. 

 

R2_train = r2_score(train_Y, pred_train)
print('R2_train : %f' % R2_train)

 

R_2_train(y_true, y_pred) : R² 값 계산

 

 

오늘은 회귀 알고리즘을 구현하고 평가하는 방법에 대해 알아보았다. 

다음 시간에는 분류 알고리즘(의사결정나무) 에 대해 포스팅해보겠다! 〆(・∀・＠)