[COURSERA] Improving Deep Neural Networks 3

Bias와 Variation을 줄여보도록 하자.

Train을 통해서 초기의 model이 나온다. 이때 첫번째로 질문할 수 있다. High bias를 가지고 있는가? Train한 데이터만 보더라도 결과가 high performance를 내는가를 확인한다. Yes일 경우, Training set에도 잘 맞지 않는 다는 뜻이므로 몇가지 방법을 실행해본다

Train -> model 이 high bias 인가? 

Yes : Training set에도 잘 맞지 않는 분류이다.

-Bigger Networks 사용 (권장)

-More hidden Units 사용 (권장)

-Train Longer

-Advanced optimization Algorithm을 사용해본다

-NN architecture를 바꿔본다

하여 Train set에서 만큼은 bias 문제가 사라질때까지 반복하도록 한다.

다음으로, Dev set을 적용하여 두번째로 질문할 수 있다. 결과가 high variance인가?

Train + Dev set -> model이 high variance 인가?

Yes : Overfitting 된 상태이므로 이를 줄여야 한다

- Get more data

- Regularization = Reduce Overfitting

- NN architecture 적절한것으로 바꿔보기

이 두번째 과정을 실행한 뒤엔 다시 첫번째 물음으로 돌아가서 Train set에 대하여 bias가 있는지 확인하도록 한다.

두번째 물음까지 No 가 나온다면 모든 과정이 끝난것이다.

즉, Bias, Variation 여부에 따라 효과적인 해결방법이 다르다는것을 알 수 있다.

과거엔 좋은 tool이 없어서 bias를 줄이는 와중에 variance가 상승하기도 하였지만 오늘날은 충분히 큰 bigger networks에서도 서로에게 영향을 주지 않고도 성능을 올릴 수 있다.