복잡한 함수의 Analytic gradient을 쉽게 계산하기 위해서 computation graph을 그린다. 함수를 computational graph를 표현하면 input값과 local gradient값을 쉽게 파악 할 수 있다. 이때 Chain rule을 사용하여 backpropagation 구할 수 있다. Backpropagation은 Local gradient을 상위 노드 방향으로 전달하여 가중치를 업데이트 시키는 방법이다. 각 Local gradient을 구한 뒤 Chain rule을 사용하게 된다면 상위 노드의 gradient을 쉽게 구할 수 있다. Add gate : gradient distributor – gradient을 나눠준다. Ex) x + y Max gate : gradient..
> X(이미지)와 W(가중치)를 통해 Y(label)를 예측하는 것이 주 목적, > Loss function을 통해서 가중치 W를 조절하고 Loss를 최소화하는 정확한 모델을 만든다. (최적화 과정) Multiclass SVM loss > Max(True category - False category + 1(margin)) , margin 1은 임의로 설정 한 값이다. Q1) car score가 조금 변하게 되면 loss에는 무슨 변화가 생기게 될까요? > car의 score는 매우 높기 때문에 스코어를 바꾸더라도, loss값은 변하지 않는다. Q2) loss의 최솟값은 0, 최대값은 무한대이다. Q3) 스코어 S들이 모두 0에 가까울 때 Multiclass SVM의 Loss는? > class수 – 1 ..
> 컴퓨터는 이미지를 그림모양이 아닌 격자모양의 숫자집합으로 인식한다. (Semantic Gap – 사람 눈으로 보는 이미지, 실제 컴퓨터가 보는 픽셀 값과의 차이) > 고양이 이미지가 조금이라도 변동(view point, lllumination, Deformation, occlusion, background clutter, interclass variation)이 생기면 픽셀 값이 달라져서 컴퓨터가 고양이를 잘 인식하지 못한다. 그러나 고양이라는 사실은 달라지지 않기 때문에 변동에서도 고양이를 인식할 수 있는 robust한 모델을 만들어야 한다. Data-Driven Approach > 기존에는 이미지를 인식시킬 때, 각 객체에 대한 규칙을 하나하나 정하였다. 그러나 실제 생활에서는 수많은 객체들이 존..