[COURSERA] ML strategy8

Comparing to human-level performance

why human level performance??

기계와 시간이 지남에 따라 Accuracy가 올라간다고 할때,

위의 그래프는, 일정 시간이 지날때 Human의 accuracy을 넘을 순 있지만 Bayes optimal error구간을 도달하지 못함을 보여준다.

 실제로 Human level performance를 넘길때까진 성능과 속도가 증가한다.

하지만 아무리 오랜 시간을 투자해도 Bayes optimal error을 surpass(넘길수)없다. 왜냐하면 accuracy는 noisy때문에(고양이 사진에서는 blur 등) 절대 100%의 정확도를 가질 수 없기 때문이다. 

So, Human-level performance가 더 좋고 ML 성능이 이보다 안좋은 상황일때 

 ex) 이미지 분류, 언어 읽기/해독 -> natural data task를 필요로하는 작업들

 1) Get labeled data from human

 2) Gain insight from manual error analysis:

why did a person get this right?

 3) Better analysis of bias/varience

의 방법이 있다.