안녕하세요 배도리 입니다. 오늘은 kNN 마지막 부분입니다. kNN은 분류 뿐만 아니라 회귀에서도 가능합니다. 회귀는연속적인 수치(실수)를 예측하는 것이기에 종속변수가 연속형인경우입니다. 그런데 사실 일반적으로 kNN은 분류에 더 많이 사용되는 경우가 많습니다. kNN은 주어진 샘플을 가장 가까운 이웃들과 비교하여 다수결이나 가중 평균 등을 통해 클래스를 할당하는 방식으로 작동합니다. 이는 kNN의 분류 알고리즘의 특징과 장점에 잘 부합하기 때문입니다. 그래도 배워봅시당 ㅎㅎ
kNN 회귀는 모델 학습 과정이 없으며, 입력 데이터와 훈련 데이터셋 간의 거리를 기반으로 예측을 수행합니다.
kNN 회귀는 데이터의 분포에 따라 이웃의 개수(k)를 조정함으로써 모델의 유연성을 조절할 수 있습니다. 작은 k 값은 모델의 복잡성을 증가시키고 노이즈에 민감하게 작동할 수 있으며, 큰 k 값은 모델의 부드러움을 증가시키고 지역적인 패턴을 더 잘 캡처할 수 있습니다.
kNN 회귀는 비선형 회귀 문제에 적용되며, 주로 작은 규모의 데이터셋에 적용됩니다. 특히 데이터가 충분하지 않거나 특성의 중요도가 고르지 않은 경우에 kNN 회귀를 활용할 수 있습니다.
데이터가 충분하지 않은 경우: kNN 회귀는 훈련 데이터셋의 근접 이웃들의 값을 활용하여 예측을 수행하기 때문에 데이터가 충분하지 않은 상황에서도 상대적으로 좋은 성능을 보일 수 있습니다. 작은 규모의 데이터셋에서는 KNN 회귀가 유용한 대안이 될 수 있습니다.
특성의 중요도가 고르지 않은 경우: kNN 회귀는 비선형 모델이기 때문에 특성 간의 상호작용과 비선형 관계를 모델링하는 데 용이합니다. 특성의 중요도가 고르지 않거나 불규칙한 형태를 가지는 경우에도 kNN 회귀를 적용할 수 있습니다.
그러나 kNN 회귀는 한계점이 있으며, 특히 데이터셋이 크거나, 고차원인 경우에는 성능이 저하될 수 있습니다. 또한, 이상치(일반적인 데이터 패턴에서 벗어나는 값)에 민감하게 작동할 수 있고 계산 비용이 크기 때문에 데이터셋의 크기와 차원, 이상치 등을 고려하여 적절히 사용해야 합니다.
마지막으로, KNN 회귀는 주변 이웃들의 값을 기반으로 예측을 수행하기 때문에 주변 이웃들의 분포가 중요합니다. 따라서 데이터가 밀집한 지역에는 좋은 예측을 할 수 있지만, 데이터가 희소하게 분포되어 있거나 경계 영역에 위치한 경우에는 예측이 불안정해질 수 있습니다.
KNN의 회귀에는 단순 회귀와 가중 회귀가 있습니다.
kNN의 단순 회귀 (Simple kNN Regression)
kNN의 기본 회귀 알고리즘입니다. 주어진 입력 데이터의 k개의 최근접 이웃을 찾고, 이웃들의 출력 값의 평균 또는 중앙값을 사용하여 해당 입력에 대한 출력 값을 예측합니다. 이웃들의 값에 대해 가중치를 고려하지 않으며, 동일한 가중치를 적용합니다.
kNN의 가중 회귀 (Weighted kNN Regression) 가중 회귀는 kNN 회귀에 가중치를 도입하여 예측을 수행하는 방법입니다.주어진 입력 데이터의 k개의 최근접 이웃을 찾고, 이웃들의 출력 값에 가중치를 부여하여 가중 평균을 사용하여 해당 입력에 대한 출력 값을 예측합니다. 가중치는 일반적으로 거리에 반비례하여 할당됩니다. 가까운 이웃일수록 더 높은 가중치를 가지고, 먼 이웃일수록 더 낮은 가중치를 가집니다. 대표적인 가중치 함수로는 역거리 가중치(Inverse Distance Weighting, IDW) 등이 있습니다.
한번 코드를 통해 살펴볼까요 kNN 회귀를 이용한 영화 평점 예측하겠습니다. 영화평을 ‘긍정’과 ‘부정’으로 분류하는 것이 아닌, 실제 영화 등급(별점)을 예측합니다. 이 코드는 K-Nearest Neighbors 알고리즘의 회귀 버전인 KNeighborsRegressor를 사용하였고 가중회귀를 적용했습니다.
fromsklearn.neighborsimportKNeighborsRegressor
#먼저, KNeighborsRegressor를 사용하기 위해 필요한 라이브러리를 불러옵니다.
importnumpyasnp
regressor=KNeighborsRegressor(n_neighbors=3, weights='distance') #.p=1 쓰면 맨허튼거리
#기본적으로 train_test_split 함수는 데이터를 75%의 학습 데이터와 25%의 테스트 데이터로 나눕니다.
Scikit-Learn에 사용할 훈련 셋은 2차원배열이어야 합니다. 각각의 배열은 샘플 수와 1개의 특성(열)을 가진 형태로 변경되어어야 는 scikit-learn 모델과 같은 머신러닝 모델에서 입력 데이터로 사용할 수 있습니다. 이 코드는 X_train과 X_test 배열을 scikit-learn 모델이 요구하는 2차원 형태로 변환하는 것입니다.
X_train=X_train.reshape(-1, 1) #reshape(-1, 1) 함수를 사용하면, 배열의 형태를 (샘플 수, 1)로 변경
X_test=X_test.reshape(-1, 1)
# 예를 들어변환 전 X_train의 형태가 (50,)인 1차원 배열이었다면, 변환 후의 X_train의 형태는 (50, 1)인 2차원 배열이 됩니다.
# 이는 50개의 샘플과 각 샘플에 대한 1개의 특성(여기서는 길이)을 포함하게 됩니다.
이제 K-최근접 이웃(kNN) 회귀 알고리즘을 사용하여 입력 데이터(X_train)에 대한 출력 데이터(y_train)를 학습하고, 테스트 데이터(X_test)에 대한 예측을 수행하겠습니다.
