일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 멀티모달AI
- 개발자 수학
- JPub리뷰어
- 생성AI
- 한빛미디어 #인사이드머신러닝인터뷰 #머신러닝인터뷰 #머신러닝면접
- IT 서적 리뷰
- 제이펍 IT리뷰어
- 프로그래밍 인지과학
- 한빛미디어 리뷰어
- 제이펍 리뷰어
- FastAPI
- 심층학습 수학
- The programmer's Brain
- 탈중앙화 금융
- 업무 자동화
- 데이터 과학 기본 수학
- 딥러닝을 위한 수학
- 세상에 없던 금융 디파이 입문편
- 프로그래머의 뇌
- tidy first
- 한빛미디어 리뷰
- 처음 시작하는 fastapi
- JPub 리뷰어
- 개발자를 위한 필수 수학
- 한빛미디어리뷰
- 쉽게 시작하는 캐글 데이터 분석
- 제이펍리뷰어
- 파이썬 웹서비스
- 파이썬 자동화 교과서
- 멀티모달 생성AI 인사이드
- Today
- Total
무말랭이 숙성중
[COURSERA] ML strategy7 본문
Cat classifier 를 생각해보자,
A algo: 3% error
B algo: 5% error
evaluation metric이 위와 같다고 할때, A알고리즘이 마냥 좋은것이라고 할 수 있을까?
A algo : 3% error + pornographic
B algo : 5% error + no-pornographic
라고하고 이 고양이 Classifier 가 상용화되려는 과정이라고하면 User와 회사는 B를 선택할것이다. 이럴 경우 evaluation metric이 잘못되었으므로 evaluation metric을 다시 설정해야 한다.
그럼 pornographic image를 cat으로 분류하는 현재상태에서 어떻게 해야 cat으로 분류가 안되도록 할 수 있을까?
위의 경우엔 Error율을 아래의 과정으로 수정할 수 있다.
Error :
즉, weight를 추가 하는것인데 w(i) 는 pornographic이냐에 따라
w(i) : 1 if x(i) is non-porn..
10 if x(i) is porn....
non-porn이면 작은값 1을, porn이라면 큰값(10일필요 없이 충분히 큰수이면됨) 을 weight로 준다.
또한 normalize를 위해 1/m을 1/sum(w(i))로 바꿔준다. 그러면 0과 1사이의 값으로 표현이 가능할것이다.
지금까지 classifier를 평가하는 metric을 어떻게 정의할까에 대해 알아보았다. 이는 place to target 과정이며 이 metric들이 어떻게 각각에 대해 동작할것인지에 대해 고민해볼필요가 있다. 이과정은 aim/shot at target하는 과정으로 볼 수있다.
** evaluation metric은 잘 동작하면서 dev/test set에 대해선 잘 동작하지 않는다면 metric또는 dev/test set을 바꿔야한다.
앤드류 응씨의 Recommendation은 evaluation metric없이 오랜시간 동안 train하는것이다. 그래서 algorithm 자체 성능을 높이는 것을 권장한다.
'DEEP LEARNING > COURSERA' 카테고리의 다른 글
[COURSERA] ML strategy9 (0) | 2018.06.05 |
---|---|
[COURSERA] ML strategy8 (0) | 2018.06.05 |
[COURSERA] Improving Deep Neural Networks 4 (0) | 2018.05.13 |
[COURSERA] Improving Deep Neural Networks 3 (0) | 2018.05.13 |
[COURSERA] Improving Deep Neural Networks 2 (0) | 2018.05.13 |