무말랭이 숙성중

이번장에서는 dev/train set을 어떻게 설정할 것인가에 대해서 알아본다dev set은 development set으로, hold out cross validation set으로도 불린다. workflow는 다음과 같을 것이다. 여러 Idea들을 적용해보기 위해 Train set을 학습하고 이를 통해 나온 모델들을 적용하고 dev set을 이용하여 평가하며 여러 Idea중 하나를 선택한다. 그래서 가장 좋다고 확신되는 Idea를 test set에 적용하여 정확도를 평가한다. 여러 Regions 이 있을때 dev set과 test set을 어떻게 설정할 것인가?Region: US, UK, Other Europe, South America, India, China, Other Asia, Australi..

고려해야할 모든 요소들을 한 평가지표(single row number evaluation metric)로 만드는 일은 쉽지 않다. 또다를 예를 들어보자. Accuracy Running Time A 90% 80ms B 92% 95ms C 95% 1500ms 위와 같을 경우, 이 두가지 평가지표를 하나의 평가지표로 어떻게 매핑할 수 있을까? Cost = Accuracy - (Running Time /2) 로 표기할 수도 있다.하지만 목적을 정확히 하자면,Accuracy 는 높은것이 좋고, Running Time은 특정 시간내에만 결과를 내면 된다면 Maximize Accuracy Subject to Running tim

ML 에서, hyperparameter들을 튜닝하거나 여러 알고리즘을 적용해서 성능을 향상시키고자 할 때 한번에 한개의 평가지표 대해서만 확인을 해나가면, 새로운 것이 좋은지 아니면 더 나쁜지에 대해 더 빠르게 파악할 수 있다. Using single number evaluation metric일반적으로 새로운 idea에 대한 적용 과정은 다음과 같다. Idea -> code -> experiment experiment를 통해 나온 경험으로 Idea를 수정하여 위의 과정을 반복한다.예를들어서, Classifier A,B가 있다고 하자. 어떤 Classifier가 더 좋다고 볼 수있을까? 그리고 또 어떻게 수정해야 성능을 높일 수 있을까? Precision Recall A 95% 90% B 98% 85% ..

지도학습을 잘 동작하게 하기 위해서 할 일들: 4가지 요소들을 잘 확인해야함 1) Fit training set well on cost function (학습데이터에서 잘 수행하고 있는가, Acceptability assessment을 통과할 수 있는가) - human level performance로써 주로 application에 따라 달라짐. >>해결 방법 : Bigger Network 사용 or 다른 optimization 알고리즘(ad 2) Fit dev set well on cost function - Dev set 에서 또한 잘 동작하는지 확인 - Dev set이란? Trining set이 Classifier 학습을 위해 사용되는 데이터고, Test set이 accuracy 확인을 위한 데이터..

Machine Learning 에서 Accuracy를 높이고자 할때 아래의 방법들 중 하나를 사용할 수 있다. 1) Data 수집 2) 다양한 학습 데이터 수집(및 사용) 3) 더 오래 학습(차원을 높이기 등) 4) 다른 optimization 알고리즘 사용 (예를들면 gradient descent 대신 Adam 사용)*Adam? 참고 : http://shuuki4.github.io/deep%20learning/2016/05/20/Gradient-Descent-Algorithm-Overview.html 5) Bigger/Smaller Network 사용해보기 6) Drop out하기 7) L2 Regularzation* L1/L2 Regularzation? Overfitting을 해결하는 방법중 하나. ..