본문 바로가기

728x90
반응형
머신러닝 #최적화 #경사하강법
728x90
반응형
1

모델링 최적화와 일반화의 차이 최적화: 에러(손실함수의 결과값)를 줄이는 것 손실함수의 결과값이 가장 많이 감소하는 방향으로 이동시키는 방법으로 최적화를 진행한다. 최적화는 "더이상 감소될 수 없을 때까지 = 내려갈 수 없는 곳에 도달할 때까지" 반복한다. 경사하강법: 임의의 점에서 시작해서 경사를 따라서 내려갈 수 없을 때까지 반복적으로 내려가며 최솟값을 찾는다. 어느 방향으로 내려갈지, 한 번에 어느 정도 이동할지(step의 크기)를 정해야 한다. 일반화: 기존 데이터 뿐만 아니라 새로운 데이터를 넣어도 모델이 잘 동작하도록 하는 것 일반화가 제대로 안 되면 과적합 문제 발생. train-test data split, validation set approach, cross-validation 등의 방법으로 진행한다. 2020. 3. 19.

티스토리툴바