0117

<Pytorch>

Pytorch -> Define by run(계산 그래프가 조건문, 반복문에 따라 변화 가능)

: 직관적이고 유연성 있음, 최적화는 어려움

 

vs: Tensorflow -> Define and run : 정적 -> 계산 그래프가 사전에 정의되어있고 그것을 기반으로 최적화 하는것

: 최적화 용이, 유연성은 떨어짐

 

 

---

 

• Pytorch의 특징 및 장점

-tensor

-computational graph : 방향성 존재

 

-낮은 CPU (tensorflow에 비해), 학습/추론 속도 빠름

-직관적 interface

 

• Pytorch의 아키텍처

-구조(크게 3개의 계층) : 파이토치 api->파이토치 engine(다차원 텐서, 자동 미분 처리)->텐서 연산 처리 

• 데이터 준비

-pandas 이용하거나 pytorch 제공 데이터 사용-텍스트 데이터 -> 임베딩 과정(vectorization)-custom dataset->dataloader : 데이터를 batch 단위로 나눠서 메모리에 load, shuffle

(*데이터를 미리 나누는 것이 아니라 내부적으로 반복자에 포함된 인덱스를 이용해 batch 크기만큼 데이터 반환)

 

• 모델 정의

 

• 모델 파라미터

optimizer : loss를 최적화

 

• 모델 훈련

-학습의 의미 : y=wx+b에서 w와 b의 적절한 값을 찾음

-오차가 줄어들어서 전역 최소점에 이를때까지 파라미터 수정

-오차 줄이기->optimizer로

-lambda 함수

 

-역전파 : loss값을 토대로 파라미터 값을 찾아 나가는 과정

 

-batch norm -> True

---

 

-ResNet 논문:

https://arxiv.org/abs/1512.03385