0118

• 가중치 초기화

-initialization scheme

 

1.. Gaussian initialization

: 표준편차가 너무 작을때 -> layer가 깊어질수록 데이터의 변별력이 떨어짐- > 0으로 수렴

(데이터의 분포는 activation func의 영향을 받음)

 

2. 상수 초기화 

: 대칭성 문제 ( - )

 

=>random 하게 초기화 시켜도 표준편차와 분산이 중요! (적절한 가중치를 잘 찾자,,,)

 

-SOL

1. He -> ReLU

2. Xavier -> Sigmoid

: activation func 선형함수로 가정

 

---

• global average pooling

-> resnet의 끝단에 사용됨

-> 정의 : 채널단위로 차원 축소, 1 by 1 feature map이 됨

---

• bottleneck(resnet)

-F(x)가 잔차(외부적인 변화량)

---

https://drive.google.com/file/d/1KAbguWUZQvo0l5BYd3nHU7LRQWpcAw0J/view?usp=sharing

ResNet_Lecture_원본.ipynb