반응형 옵티마이저1 경사하강법과 옵티마이저 경사하강법 알고리즘 경사하강법은 이름에서 유추할 수 있듯이 기울기(경사, Gradient)를 이용하여 손실함수의 값을 최소화하는 방법이다. 함수의 경사(즉 미분값)를 이용하여 현재 위치에서 가장 낮은 방향으로 이동하며 최솟값에 도달하는 방식이다. 그러므로 경사하강법은 함수의 최솟값을 찾는 반복적인 최적화 알고리즘이라고 할 수 있다. 머신러닝에서 우리가 조정하고자 하는 값(변수)은 가중치(weight, w)와 바이어스(bias, b)이다. 따라서 손실함수를 w와 b에 관한 함수로 생각하면 된다. 함수를 미분하면 기울기를 얻을 수 있다. 손실함수의 미분계수가 음이라면 w를 양의 방향으로, 손실 함수의 미분계수가 양이라면 w를 음의 방향으로 이동시킨다. (이때 w를 얼마만큼 이동시키는지를 학습률이라고 한다) .. 2024. 3. 18. 이전 1 다음 반응형
