99
책 속 한 문장 또는 소감
02. 트랜스포머 아키텍쳐
* 인코더(Encoder) : 언어를 이해하는 과정
* 디코더(Decoder) : 언어를 생성하는 과정
* 셀프어텐션(Self-attention) : 입력된 문장 내의 각 단어가 서로 어떤 관련이 있는지 계산해서 각 단어의 표현을 조정하는 역할
* 위치 인코딩(Positional Encoding)
* 층 정규화(Layer Normalization)
* 멀티 헤드 어텐션(Multi Head Attention)
* 피드 포워드(Feed Forward)
* 토큰화(tokenization) : 텍스트를 적절한 단위로 나누고 숫자 아이디를 부여하는 작업
→ 새로운 단어는 사전에 없기 때문에 처리하지 못하는 OOV(Out Of Vocabulary) 문제가 자주 발생
* 토큰 임베딩으로 변환하기 : Pytorch가 제공하는 nn.Embedding 클래스 사용
* Attention is All you need
* 어텐션 이해하기 :
- 핵심 개념 : 쿼리(Query), 키(Key), 값(Value)
- 쿼리(Query) > 검색어
- 키(Key) > 문서가 가진 특징 : 제목, 본문, 저자 이름 등
- 값(Value) > 쿼리와 관련깊은 키를 가진 문서를 찾아 관련도순으로 정렬해서 문서를 제공할 때 문서의 값
페이지
P,59 ~ P.100