[COURSERA] Improving Deep Neural Networks 2

Bias & Variance에 대해 알아보자.

 Bias는 편향된, 즉 제대로 Classification 되지 않은 상태이며

 Variance는 학습 데이터가 너무 고려된 나머지 Overfitting 된 상태이다.

<Coursera: Improving Deep N.N 강의>

Bias와 Bariance를 어떻게 구별할것인가?

Cat classification으로 생각해보자

                                  A              B             C               D

Train set error:             1%             15%         15%           0.5%

Dev set error:              11%           16%          30%           1.0%

A: Overfitting = high variance 

B: Underfitting = high bias (* Train, Dev error 차이가 1%밖에 차이가 안난다)

C: high bias, high variance

D: low bias, low variance

위의 결과는 Human error = Optimal error = base error 가 0%에 가깝다고 할 경우로써, 만약 Oprimal error가 15%대라면 B의 경우도 reasonable하다. low bias, low variance로 구분할 수 있다는 말이다.

 단, 여기서의 가정은 train과 dev set이 same distribution일 경우이다. 다를 경우엔 train과 dev set error율이 차이가 날 수 있다.

다시 정리하자면

high bias => more linear : just not fitting

high variance => more curved : too much flexibility

두 경우에 따라 해결하는 방법이 다르다.