[COURSERA] ML strategy7

Cat classifier 를 생각해보자,

A algo: 3% error

B algo: 5% error

evaluation metric이 위와 같다고 할때, A알고리즘이 마냥 좋은것이라고 할 수 있을까?

A algo : 3% error + pornographic

B algo : 5% error + no-pornographic

라고하고 이 고양이 Classifier 가 상용화되려는 과정이라고하면 User와 회사는 B를 선택할것이다. 이럴 경우 evaluation metric이 잘못되었으므로 evaluation metric을 다시 설정해야 한다.

 그럼 pornographic image를 cat으로 분류하는 현재상태에서 어떻게 해야 cat으로 분류가 안되도록 할 수 있을까?

 위의 경우엔 Error율을 아래의 과정으로 수정할 수 있다.

 Error : 

 즉, weight를 추가 하는것인데 w(i) 는 pornographic이냐에 따라 

    w(i)  :            1 if x(i) is non-porn..

                      10 if x(i) is porn....

  non-porn이면 작은값 1을, porn이라면 큰값(10일필요 없이 충분히 큰수이면됨) 을 weight로 준다.

 또한 normalize를 위해 1/m을  1/sum(w(i))로 바꿔준다. 그러면 0과 1사이의 값으로 표현이 가능할것이다.

지금까지 classifier를 평가하는 metric을 어떻게 정의할까에 대해 알아보았다. 이는 place to target 과정이며 이 metric들이 어떻게 각각에 대해 동작할것인지에 대해 고민해볼필요가 있다. 이과정은 aim/shot at target하는 과정으로 볼 수있다.

** evaluation metric은 잘 동작하면서 dev/test set에 대해선 잘 동작하지 않는다면 metric또는 dev/test set을 바꿔야한다.

 앤드류 응씨의 Recommendation은 evaluation metric없이 오랜시간 동안 train하는것이다. 그래서 algorithm 자체 성능을 높이는 것을 권장한다.