딥러닝 훈련소

[딥러닝 기초이론2] 에서 손실함수와 학습률(learning rate)에 대해 배워보았다. 이번 포스팅에서는 1. 선형회귀에서 MSE 손실함수가 자주 쓰이는 이유 2. 적절한 학습률(learning rate) 설정이 필요한 이유 이 두가지에 대해서 다뤄보겠다. 1. 선형회귀에서 MSE 손실함수가 자주 쓰이는 이유 1) 에러의 최댓값을 기준으로 하는 경우 이 경우는 특이 데이터가 있을 시 그 데이터에 편향된 예측모델이 나온다는 문제점이 있다. 2) 오차 제곱의 합이 아닌 오차들의 합으로 손실함수를 설정하는 경우 이 같은 경우 에러들간의 부호가 달라지게 된다. 실제값에서 예측치를 뺀 값이 error가 되는데, 부호가 다르기 때문에 서로 상쇄되어 오차의 크기를 대변할 수 없게 된다. 그렇다면 절댓값들의 합은 ..

전 포스팅에서 AI는 통계분석 프로그램이라는 이야기를 했다. 주어진 데이터를 통해 특성간의 상관관계를 파악하고, 그에 기반하여 새로운 데이터에 대한 판단이 가능하게끔 동작하는 것을 인공지능이라고 칭한다. 이제 인공지능이 새로운 데이터에 대한 판단기준, 즉 예측 모델을 어떻게 만들어내는지에 대한 이야기를 해보겠다. 기존의 데이터는 이러하다. 이 데이터들을 보고 직선 형태의 예측 모델을 직접 만들어보자. 아마도 이와 비슷한 직선을 그렸을 것이라고 예상된다. 그렇다면 우리는 왜 이런 직선을 그리게 된 것일까? 그 이유는 이 직선이 실제 데이터들을 잘 대변하기 때문이다. 즉, 실제 데이터들과의 오차가 가장 적기 때문이다. 기존의 데이터들과 해당 지점에서의 예측치간 발생하는 오차를 Training loss 라고 ..