spolov

가중치 초기화-initialization scheme 1.. Gaussian initialization: 표준편차가 너무 작을때 -> layer가 깊어질수록 데이터의 변별력이 떨어짐- > 0으로 수렴(데이터의 분포는 activation func의 영향을 받음) 2. 상수 초기화 : 대칭성 문제 ( - ) =>random 하게 초기화 시켜도 표준편차와 분산이 중요! (적절한 가중치를 잘 찾자,,,) -SOL1. He -> ReLU2. Xavier -> Sigmoid: activation func 선형함수로 가정 global average pooling-> resnet의 끝단에 사용됨-> 정의 : 채널단위로 차원 축소, 1 by 1 feature map이 됨bottleneck(resnet)-F(x)가 잔차(..

SKT fly ai challenger 2025. 1. 18. 14:31

Pytorch -> Define by run(계산 그래프가 조건문, 반복문에 따라 변화 가능): 직관적이고 유연성 있음, 최적화는 어려움 vs: Tensorflow -> Define and run : 정적 -> 계산 그래프가 사전에 정의되어있고 그것을 기반으로 최적화 하는것: 최적화 용이, 유연성은 떨어짐   Pytorch의 특징 및 장점-tensor-computational graph : 방향성 존재 -낮은 CPU (tensorflow에 비해), 학습/추론 속도 빠름-직관적 interface Pytorch의 아키텍처-구조(크게 3개의 계층) : 파이토치 api->파이토치 engine(다차원 텐서, 자동 미분 처리)->텐서 연산 처리 데이터 준비-pandas 이용하거나 pytorch 제공 데이터 사용-텍..

SKT fly ai challenger 2025. 1. 17. 16:30