[COURSERA] ML strategy2

지도학습을 잘 동작하게 하기 위해서 할 일들: 

 4가지 요소들을 잘 확인해야함

 1) Fit training set well on cost function

  (학습데이터에서 잘 수행하고 있는가, Acceptability assessment을 통과할 수 있는가)

  - human level performance로써 주로 application에 따라 달라짐.

  >>해결 방법 : Bigger Network 사용 or 다른 optimization 알고리즘(ad

 2) Fit dev set well on cost function

  - Dev set 에서 또한 잘 동작하는지 확인

  - Dev set이란? Trining set이 Classifier 학습을 위해 사용되는 데이터고, Test set이 accuracy 확인을 위한 데이터라면 그 중간단계에서 Classifier를 개선하기위해 바꿔주는 요소들. bias도 될 수 있고 Training, Test가 아닌 데이터일수도 있다.

  >>해결 방법 : Regularzation

 [참고1] Train/Dev/Test set?

   Training, Development, and Test Data:

1. Training set, as the name suggests, this data set is used to train your classifier. It takes major chunk of your original data set.
2. Development set, used during evaluation of your classifier with different configurations or, variations in the feature representation. Its called development set, since you are using it while developing your classifier. It can be a bit biased, that's why we need third kind of data set.
3. Test set, Data set on which you finally check the accuracy of your classifier and get the unbiased results.

 3) Fit test set well on cost function

  - 테스트 데이터 또한 잘 수행이 가능한지 확인

  >>해결 방법 : Bigger Dev set 사용

 4) Performs well in real world

  - 현재 수행 방법이 실제 결과에 잘 맞지 않는다 싶으면 현재 사용하고있는 Dev set이나 Cost function이 이 문제에 맞지 않을 확률이 큼

   >>해결 방법 : Dev set or Cost function 을 교체

일반적으로, 신경망을 훈련할때 훈련하는 기간을 짧게 하는것은 좋지 않다. Train set에 얼마나 잘 맞는지 확인하는 동시에 Dev set 성능향상에 영향을 끼치기 때문에 대부분의 사람들 또한 어느정도의 시간을 투자한다고 함.