선형 회귀(Linear Regression)의 개념과 Prediction

Regression

 

Model Parameters (Learnable)

컴퓨터 내부에서 모델이 스스로 목표를 세우기 위해서 바꿔가는 Key의 값이다. 

즉 HyperParameters와 동일하게 변경되는 값이 모델의 정확도에 영향을 미치지만, 

사용자가 직접 선택하지 않고, 최적의 답안을 추론해내가며 모델이 직접 학습한다. 

 

 

Linear Regression (선형 회귀) 

Classification이 Input Data의 Label를 맞추는 것이 답안이었다면 

Linear Regression의 경우 Input된 데이터를 기반으로 직선을 그어 수식을 만들어서

특정 Input x에 대해 y를 예측할 수 있다. 

 

선형 회귀 역시 Supervised Learning의 일종이다 

트레이닝 데이터셋은 (x, y)처럼 좌표값처럼 주어지며, 좌표평면에 무수한 데이터를 좌표로 표현하면

이 데이터들을 기준으로 최적의 선형모델(선)을 그릴 수 있다. 

 

이렇게 X를 데이터, y를 레이블이라고 생각하고 학습시켜준다. 

그리고 Model Parmeter (세타)를 업데이트 시켜주며 가장 적정의 값을 찾아준다.

이렇게 파라미터를 이용해서 값을 찾는 방식을 Parametric Approach라고 한다. 

 

모델 파라미터를 weights라고도 표현하는데,

i번째 Sample에 대한 예측치는 각 차원의 가중치 * 데이터값이다.

다차원 영역 (Y값에 영향을 미치는 X의 개수) 인 경우를 고려해 위와 같이 Sum을 이용해 

Weights와 Input data값을 곱해서 더해준다. 

 

 

Linear Predicrtion

세타0을 bias라고 부르고, 나머지 세타를 weight라고 한다. 

Yi의 추정값을 유추하기 위해, bias라는 파라미터는 기본적으로 존재하는 값으로, 선형 그래프에서 y축의 값이 된다. 

 

Optimization

Loss function을 줄이는 방향으로 모델 파라미터(세타) 값을 변경하여 Model을 개선하는 것 

Loss Function

점과 직선 사이의 거리 공식

 

 

Regression VS Classification

 

Regression은 데이터를 기준으로 선형 그래프를 만들어서

Continous한 input data와 Continous한 Output data를 생성할 수 있다. 

 

반대로 Classification은 Discrete한 value를 예측한다. 

대표적인 예로 Binary Classification은 0 혹은 1 중에서 output을 도출한다. 

 

 

Sigmoid for Binary Classification

 

Sigmoid함수

 

모든 Input Data에 대해서 0과 1 사이의 output으로 압축할 수 있다. 

Sigmoid 그래프

 

이렇게 구해진 Y prediction의 값을 Sigmoid함수에 넣으면

확률로 계산되어 y값이 0.5보다 크면 1로 확인, 0.5보다 작으면 0으로 하여

Binary Classification의 결과를 도출할 수 있다.