무말랭이 숙성중

Logistic Regression을 생각해 볼때, Regularization은 Loss Function 뒤에 Regularization 항을 추가하면 된다. 일반적으로 R1, R2 Regularization이 있으며 아래와 같다. 왜 b에 대해서는 항을 추가하지 않는지 궁금해할수도 있다. b는 상수값인데 네트워크 파라미터에서 W에 비해 b는 너무 작기때문에 보통 생략을 한다. 여기서, 람다는 파이썬에서 제공되는 기능의 이름이기 때문에 우리가 실제로 사용할때는 lambd로 사용을 하도록 하자. 모든 레이어에 대해서 J가 아래라고할떄, (w[l],b[l]은 마지막 레이어의 파라미터들)각 레이어 l에 대한 hidden Units들이 존재하기 때문에 W : ( n[l-1]*n[l-1]) 차원이다.따라서, 위와..

Bias와 Variation을 줄여보도록 하자. Train을 통해서 초기의 model이 나온다. 이때 첫번째로 질문할 수 있다. High bias를 가지고 있는가? Train한 데이터만 보더라도 결과가 high performance를 내는가를 확인한다. Yes일 경우, Training set에도 잘 맞지 않는 다는 뜻이므로 몇가지 방법을 실행해본다 Train -> model 이 high bias 인가? Yes : Training set에도 잘 맞지 않는 분류이다.-Bigger Networks 사용 (권장)-More hidden Units 사용 (권장)-Train Longer-Advanced optimization Algorithm을 사용해본다-NN architecture를 바꿔본다 하여 Train set..

Bias & Variance에 대해 알아보자. Bias는 편향된, 즉 제대로 Classification 되지 않은 상태이며 Variance는 학습 데이터가 너무 고려된 나머지 Overfitting 된 상태이다. Bias와 Bariance를 어떻게 구별할것인가?Cat classification으로 생각해보자 A B C DTrain set error: 1% 15% 15% 0.5%Dev set error: 11% 16% 30% 1.0% A: Overfitting = high variance B: Underfitting = high bias (* Train, Dev error 차이가 1%밖에 차이가 안난다)C: high bias, high varianceD: low bias, low variance 위의 결과는..

Training, Development, Test set을 어떻게 설정하느냐에 따라서 High Performance에 빨리 도달하는데 영향을 줌. Training Neural Networks에서, Decision 요소들:1) Layer 갯수를 몇개로 할것인지2) Hidden Units을 각 Layer에 몇개씩 둘것인지3) Learning late를 뭘로 설정할건지4) Activation function을 뭘로 할건지(서로다른 Layer에서)등등... 새 application을 실행할때 이 모든 요소들을 고려하기란 쉽지 않음.따라서, 아래의 과정을 반복함. ( Idea - Code - Experiment ) ex) Layer를 x개로 해보자! / data set을 이렇게 해보자! -> 실행되는 코드로 실험..

dev set과 test set의 Size는 어떻게 결정해야 하는가?이 분야에 대해서도 많은 의견변화가 있어왔다. Old way of splitting data: 1) Train 70% : Test 30% 2) Train 60% : Dev 20% : Test 20% 데이터가 적었던 예전을 기준으로는 합리적일 수 있음.그러나 100만개의 데이터가 있다면 Train 98% : Dev 1% : Test 1%만 하더라도 Dev, Test 각각이 1만개씩 충분한 양을 포함함. =>데이터 양이 많은 경우 20%보다 작은 비율로 Dev, Test 데이터를 구성해도 충분함. Size of test set: To be big enough to give high confidence in the overall perform..

이번장에서는 dev/train set을 어떻게 설정할 것인가에 대해서 알아본다dev set은 development set으로, hold out cross validation set으로도 불린다. workflow는 다음과 같을 것이다. 여러 Idea들을 적용해보기 위해 Train set을 학습하고 이를 통해 나온 모델들을 적용하고 dev set을 이용하여 평가하며 여러 Idea중 하나를 선택한다. 그래서 가장 좋다고 확신되는 Idea를 test set에 적용하여 정확도를 평가한다. 여러 Regions 이 있을때 dev set과 test set을 어떻게 설정할 것인가?Region: US, UK, Other Europe, South America, India, China, Other Asia, Australi..

고려해야할 모든 요소들을 한 평가지표(single row number evaluation metric)로 만드는 일은 쉽지 않다. 또다를 예를 들어보자. Accuracy Running Time A 90% 80ms B 92% 95ms C 95% 1500ms 위와 같을 경우, 이 두가지 평가지표를 하나의 평가지표로 어떻게 매핑할 수 있을까? Cost = Accuracy - (Running Time /2) 로 표기할 수도 있다.하지만 목적을 정확히 하자면,Accuracy 는 높은것이 좋고, Running Time은 특정 시간내에만 결과를 내면 된다면 Maximize Accuracy Subject to Running tim

ML 에서, hyperparameter들을 튜닝하거나 여러 알고리즘을 적용해서 성능을 향상시키고자 할 때 한번에 한개의 평가지표 대해서만 확인을 해나가면, 새로운 것이 좋은지 아니면 더 나쁜지에 대해 더 빠르게 파악할 수 있다. Using single number evaluation metric일반적으로 새로운 idea에 대한 적용 과정은 다음과 같다. Idea -> code -> experiment experiment를 통해 나온 경험으로 Idea를 수정하여 위의 과정을 반복한다.예를들어서, Classifier A,B가 있다고 하자. 어떤 Classifier가 더 좋다고 볼 수있을까? 그리고 또 어떻게 수정해야 성능을 높일 수 있을까? Precision Recall A 95% 90% B 98% 85% ..