• 1장 다음 단어는요? 언어 모델
  • 1.1. 언어 모델은 확률 게임
  • 1.2. N-gram 언어 모델
    • 1.2.1. 텍스트 전처리
    • 1.2.2. 제로 카운트 해결하기
    • 1.2.3. N-gram 모델 학습하기
    • 1.2.4. N-gram 언어 모델의 한계
  • 1.3. Word2Vec 기반의 언어 모델
  • 1.4. RNN 기반의 언어 모델
  • 1.4.1. RNN의 구조
  • 1.4.2. GRU 언어 모델 구현하기
  • 1.4.3. GRU 언어 모델로 문장 생성하기
    
    
• 2장 집중해 보자! 어텐션
  • 2.1. 하나의 벡터로 모든 정보를 담는 RNN
  • 2.2. 왜 어텐션(Attention)하지 않지?
  • 2.3. 어떻게 어텐션(Attention)하지?
    • 2.3.1. 묻고 참고하고 답하기
    • 2.3.2. 어텐션 계산해 보기
    • 2.3.3. 어텐션 구현하기
    • 2.3.4 모델링 학습하기
      
      
• 3장 안녕, 트랜스포머
  • 3.1. 트랜스포머의 구조
  • 3.2. 트랜스포머 구현하기
    • 3.2.1. 인코더
  • 3.3. Why Transformer
  • 3.4. 트랜스포머 학습 결과
    • 3.4.1. Perplexity(PPL)
    • 3.4.2. BLEU 스코어
      
      
• 4장 중간부터 학습하자! 사전학습과 파인튜닝
  • 4.1. 사전학습과 Fine-Tuning
  • 4.2. BERT
    • 4.2.1. BERT의 모델 구조와 이해하기
    • 4.2.2. BERT 모델의 입력 이해하기
    • 4.2.3. 사전학습 이해하기
    • 4.2.4. Masked Language Model(MLM)
    • 4.2.5. Next Sentence Prediction(NSP)
    • 4.2.6. 사전학습을 위한 데이터셋 준비와 Self-supervised Learning
    • 4.2.7. 사전학습 파헤치기
    • 4.2.8. 사전학습 정리하기
    • 4.2.9. Fine-Tuning 이해하기
    • 4.2.10. 텍스트 분류 모델로 파인튜닝하기
    • 4.2.11. 질의응답 모델로 파인튜닝하기
  • 4.3. GPT
    • 4.3.1. GPT의 사전학습
    • 4.3.2. Masked Self-Attention
  • 4.4. RoBERTa
    • 4.4.1. 정적 또는 동적 마스킹 전략
    • 4.4.2. NSP 전략
    • 4.4.3. 배치 사이즈와 데이터셋 크기
  • 4.5. ALBERT
    • 4.5.1. Factorized Embedding Parameterization
    • 4.5.2. Cross-layer Parameter Sharing
    • 4.5.3. Sentence Order Prediction(SOP)
    • 4.5.4. ALBERT 정리
  • 4.6. ELECTRA
    • 4.6.1. 학습 구조
    • 4.6.2. RTD
  • 4.7. DistilBERT
    • 4.7.1. 지식 증류
    • 4.7.2. DistilBERT의 구조와 성능 비교
  • 4.8. BigBird
    • 4.8.1. 전체 문장에 대한 어텐션, 글로벌 어텐션
    • 4.8.2. 가까운 단어에만 집중하기, 로컬 어텐션
    • 4.8.3. 임의의 토큰에 대한 어텐션, 랜덤 어텐션
    • 4.8.4. 토큰 길이에 따른 연산량 비교
  • 4.9. 리포머
    • 4.9.1. 트랜스포머 구조의 문제점
    • 4.9.2. LSH 어텐션
    • 4.9.3. Reversible 트랜스포머
  • 4.10. GLUE 데이터셋
    • 4.10.1. CoLA
    • 4.10.2. SST-2 데이터셋
    • 4.10.3. MRPC
    • 4.10.4. QQP
    • 4.10.5. STS-B
    • 4.10.6. MNLI
    • 4.10.7. QNLI
    • 4.10.8. RTE
    • 4.10.9. WNLI
    • 4.10.10. GLUE 데이터셋의 평가 지표
      
      
• 5장 어떻게 배우지? 메타러닝
  • 5.1. 학습을 위한 학습, 메타러닝
  • 5.2. 메타러닝을 이용한 Amazon 리뷰 감정 분류 학습하기
    • 5.2.1. 데이터셋과 데이터로더 만들기
  • 5.3. GPT2에서의 메타러닝
    • 5.3.1. GPT2를 학습하기 위한 접근 방법
    • 5.3.2. GPT2의 학습 데이터셋과 멀티태스크
    • 5.3.3. GPT2 성능 평가 결과
    • 5.3.4. GP2를 통한 문장 생성
    • 5.3.5. GPT2를 이용한 퓨샷 러닝
      
      
• 부록. 양자화
  • 1.1. 양자화에 대한 수학적인 이해와 코드 구현
  • 1.2. 양자화된 행렬을 이용한 행렬 곱셈과 덧셈
  • 1.3. 동적 양자화와 정적 양자화
  • 1.4. BERT 양자화하기

[p.68 그림 2.10]

[ p.75 : 코드 2.6 아래에서 4행 ]
- output: (B,1,0)
->
- output: (B,M,H)

[p. 79 : 그림 2.12 ]

[p. 80 : 1행 ]
attn_applied와 hidden을
->
attn_applied와 embedded를

[p. 80 : 9행 ]
(batch_size, 1, hidden_size)
->
(1, batch_size, hidden_size)

[p. 80 : 그림 2.13 ]
hidden(B, 1, H)
->
hidden(1, B, H)

[p. 81 : 그림 2.14 ]
hidden(B, 1, H)
->
hidden(1, B, H)

[p. 81 : 그림 2.15 ]
hidden(B, 1, H)
->
hidden(1, B, H)

[p.93 : 그림 3.5]

[ p.102 : 코드 3.5 ]
def forward(self, x, memory):
    '''
    data = np.random.randint(0, V, (B, M))
    x = torch.from_numpy(data)
    mem = torch.rand((B, M, H))
    m = Decoder(L)
    v = m(x, mem)
    v.shape # torch.Size([64, 10, 512])
    '''
    x = self.embedding(x)
    for layer in self.layers:
        x = layer(x, memory)
    return x
->
def forward(self, x, memory):
    x = self.self_attention(x, x, x)
    x = self.encdec_attention(x, memory, memory)
    x = self.feedforward(x)
     return x

[ p.120 : 아래에서 3행 ]
BERT의 구조는 3장에서 자세하게 설명했으므로
->
트랜스포머의 구조는 3장에서 자세하게 설명했으므로

[ p.121 : 그림 4.2 ]

[ p.183 : 그림 4.24 ]