Knn

KNN 예측 알고리즘

1. 예측할 관측치 x 선택
2. x로부터 인접한 k개의 학습 데이터를 탐색
3. 탐색된 k개 학습 데이터의 평균을 x의 예측값으로 반환

KNN 하이퍼파라미터

1. k
   • 인접한 학습 데이터를 몇 개까지 탐색할 것인가?
2. Distance Measures
   • 데이터 간 거리는 어떻게 측정할 것인가? ! [[ 스크린샷 2026-05-23 174854.png ]] ! [[ 스크린샷 2026-05-23 175016.png ]] 고차원에서 사용하기 어려움

Weighted KNN

• 3NN 예측모델
• 가까운 점에 가중치
• ! [[ 스크린샷 2026-05-23 181332.png ]]
• ! [[ 스크린샷 2026-05-23 181606.png ]]

KNN요약

• KNN은 매우 단순, 새로운 관측치를 분류 및 예측
• 학습데이터 내 유사한 관측치들 만을 토대로 새로운 데이터의 예측을 수행
• 일부 유사한 관측치의 반응변수의 조합(e.g.. average, majority voting)을 통하여 예상되는 반응변수 값을 제공
• Weighted KNN 알고리즘으로 데이터의 가중치 고려 가능.

This line appears after every note.