모델링 최적화와 일반화의 차이

최적화: 에러(손실함수의 결과값)를 줄이는 것

손실함수의 결과값이 가장 많이 감소하는 방향으로 이동시키는 방법으로 최적화를 진행한다.

최적화는 "더이상 감소될 수 없을 때까지 = 내려갈 수 없는 곳에 도달할 때까지" 반복한다.

 

경사하강법: 임의의 점에서 시작해서 경사를 따라서 내려갈 수 없을 때까지 반복적으로 내려가며 최솟값을 찾는다.

어느 방향으로 내려갈지, 한 번에 어느 정도 이동할지(step의 크기)를 정해야 한다.

 

 

일반화: 기존 데이터 뿐만 아니라 새로운 데이터를 넣어도 모델이 잘 동작하도록 하는 것

일반화가 제대로 안 되면 과적합 문제 발생.

train-test data split, validation set approach, cross-validation 등의 방법으로 진행한다.