0124
-문장 속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망 -문장 내 가장 작은 단위 -> word를 input token으로 -> token을 임베딩 space에 매칭 -[Attention is all you need] 논문: input-attetion 기법 사용, global operation!!*multi head attention( 서로 다른 Q, K, V matrix를 학습 ) 에서 self attention(입력 정보로부터 global한 context 추출) 사용 => multi head Q, K, V self attetion*여기서 self attention 개념 중요*Q는 positional encoding 한 후의 결과 *linear에 weight Po..
SKT fly ai challenger
2025. 1. 24. 17:57