Supervised Learning(지도 학습)의 개념

Machine Learning vs Deep Learning

1) Machine Learning은 Feature extraction을 기본적으로 거쳐

Feature vector로 바꾼 후 Classfication / Regression을 수행한다. 

 

2) Deep Learning에서는 Feature extraction과 Classification을 동시에 수행하여 Output을 도출한다. 

여기서 사용하는 방법론은 Deep Neural Network. 컴퓨터가 스스로 분류 레이블을 만들어내고, 반복학습 사전학습 하여 알고리즘을 만들어낸다.  

.

 

Supervised Learning이란,

Input data와 Label을 모두 입력으로 받아 모델을 학습시켜, 새로운 데이터를 받아 

Evaluation을 진행할 때 Label을 예측하는 학습 방식이다. 

 

 

 

Image Classification이 가지는 Challenges

 

1) Segmantic Gap

2) View point variation

3) Background Clutter

4) Illumination

5) Occulusion

6) Intra-class variation

같은 클래스에서의 분산

같은 클래스의 산점도가 뭉쳐있을 수록 좋다. 

 

7) Inter-class variation

다른 클래스에서의 분산

다른 클래스의 산점도가 흩어져있어 잘 구분되는 것이 좋다. 

Intra vs Inter class variation

그림 상에서 처음 그림이 가장 클래스별로 구분하기 쉬워보인다. 

이렇게 Inter-class variability가 높고, Intra-class variability가 낮은 것이 가장 좋은 데이터이다. 

 

 

Classifier

 

 Nearest Neighboor

학습 시 모든 데이터와 레이블을 모두 기억, 정답을 맞출 때는 queryData와 모든 데이터 레벨을 모두 비교해 추론

위 queryData와 모든 Label의 이미지의 거리를 비교, 가장 작은 것으로 결정

그럼 거리는 어떻게 구하는 걸까?

Distance Metric to compare Images

화소 하나하나 값을 뺴주고 절댓값을 취한 값을 모두 더해서 거리를 계산한다. 

 

L1 Distance, L2 Distance를 쓰는 다양한 선택지도 역시 Hyperparameter의 일종이다.

모든 픽셀에 대해서 두 영상의 특정한 픽셀의 빼준 값의 절댓값의 합을 사용한

L1(Manhattan) distance의 경우가 위에서 설명한 상황이고, 

유클리드 distance라고 부르는 L2의 경우에는 픽셀의 차를 제곱하여 모두 더한 후 루트를 씌우면 된다. 

K - Nearest Neighbor (KNN)

위에서 계산한 거리 방식으로 계산된 값을 기준으로 Sorting

새로운 데이터가 주어지면, 훈련 데이터를 저장한다. 

 

알고리즘 사용자에 의해서 주어진 K의 값을 선택해서 Sorting된 순서대로 K개의 Label을 선택한다. 

이때 주어지는 K 값을 Hyperparameter라고 한다. 

만약 K개의 label중에서 가장 많이 등장한 label을 그 영상의 정답이라고 간주한다. 

 

Data Split

Hyperparameters (초매개변수) 

Hyperparameters (초매개변수)란,

알고리즘 사용자에 의해 결정되며 이 결정값은 데이터의 Classification의 정확도에 영향을 미친다. 

model 배포는 그럼 언제하는거지?

Validation으로 성능을 테스트해 Train데이터의 체크가 끝나면 Test 데이터를 사용해서 최종적으로 값을 산출해본다. 

 

이렇게 Original Labeld Data가 있으면, Training Set, Validation Set, Test set으로 구분지어

각각 문제집/모의고사/수능 느낌으로 이해하면 된다. 

이렇게 세 단계를 거쳐서 최종적으로 안정적인 model을 만들어낼 수 있는 것이다.