
Gradient Descent - Local minima를 방지하기 위한 방법
2024. 1. 12. 20:26
인공지능
출처: LG Aimers 강의 (https://www.lgaimers.ai/) gradient descent algorithm gradient: 기울기 / 함수를 미분하여 얻는 term으로 해당 함수의 변화하는 정도를 표현하는 값 error surface에서 최소인 포인트를 찾아가는 것이 목적이다. error surface에서 최소인 포인트에서는 gradient가 0이다. gradient descent에서는 gradient가 0인 지점까지 반복적으로 세타를 바꿔나가면서 탐색을 해야함, gradient(함수의 변화도)가 가장 큰 방향으로 이동한다 gradient descent algorithm은 경우에 따라 local optimum(지역 최소치)만을 달성하기 쉽다. Global optimum: 전체 err..