[COURSERA] ML strategy4

 고려해야할 모든 요소들을 한 평가지표(single row number evaluation metric)로 만드는 일은 쉽지 않다. 

 또다를 예를 들어보자.

           Accuracy           Running Time

 A           90%                    80ms

 B           92%                    95ms

 C           95%                  1500ms

위와 같을 경우, 이 두가지 평가지표를 하나의 평가지표로 어떻게 매핑할 수 있을까?

 Cost = Accuracy - (Running Time /2) 로 표기할 수도 있다.

하지만 목적을 정확히 하자면,

Accuracy 는 높은것이 좋고, Running Time은 특정 시간내에만 결과를 내면 된다면

 

 Maximize           Accuracy

 Subject to         Running tim <= 100ms

라고 할 수 있다. (임의의 설정이다)
이처럼 Threshold를 정해놓는다면 (여기선 Running time의 100ms) 총 N - metric가 있을때 N-1개의 요소만 고려하면 된다.

또 다른 예를 들자면, wake up application의 wake up word에 대해서다.

영어로 Hey, 중국어로 니하오, 한국어로 안녕 xxx 으로 wake up을 사용할 때 정확도(Accuracy)와 false rate가 있을때, false rate의 Threshold를 최대 하루에 1번을 설정할 수 있다. 

이처럼, 관심있는 여러 사항이 있을 때, 하나는 Threshold로 잡아 판별하고 나머지 요소는 평가지표로 평가하는것이 왠만한 다른 평가지표들의 합보다 우수하다.