지금까지 AI가 동작하는 원리에 대해 알아보았다. 그 과정을 간단히 요약해보자면, 1. 랜덤한 초기값의 예측 모델 생성 2. 손실함수 설정 후 초기값 예측모델에 대한 손실함수 산출 3. 경사하강법을 통한 최적의 w와 b 획득 이와 같다. 지금까지는 입력이 한개인 인공신경망에 대해 알아보았고, 이 신경망에서의 입력에 대한 그라디언트(편미분)를 구하여 최적의 파라미터를 획득하였다. MSE 손실함수를 설정하고 2차함수 형태의 손실함수를 얻은 후 경사하강법을 진행하였다. 그러나 입력이 늘어나고, 신경망의 히든 레이어가 늘어날수록 모델의 파라미터는 증가하게 되어 수식적인 방법으로는 그라디언트를 구하기가 거의 불가능해진다. 복잡한 모델에서의 그라디언트는 어떻게 구할 수 있을까? 다음의 예시를 살펴보자. 입력이 x,..
