[서평] 구글 BERT의 정석

#BERT #버트 #인공지능 #자연어 #트랜스포머 #언어모델 #BERT변형 #KoBERT #BioBERT #RoBERTa #ALBERT

그동안 딥러닝 자연어 공부를 하면서 트랜스포머를 중심으로 BERT로, 그다음에는 BERT의 파생 모델로 계속 공부를 이어나갔다. 하지만 생각보다 어떤 순서로 공부해야 할지 막막했고, 하나하나의 내용도 어렵다 보니 정리가 되지 않았다. 

이런 상황에서 이 책은 정말 핵심 개념을 깔끔하게 정리해 준 트랜스포머와 BERT의 교과서가 아닌가 생각된다. 

아마, 목차를 보시면 얼마나 체계적으로 기초 개념부터 정리해 주고 있는지 바로 확인할 수 있을 것이다. 

우선, 첫 장에는 BERT에 적용된 기본 아키텍처인 트랜스포머에 대해서 정말 상세하고 이해하기 쉽게 설명해 주고 있다.

이렇게 트랜스포머에 대한 개념을 쌓은 후에 2장에서 BERT의 기본 동작 방식을 설명해 준다.

3장에서는 BERT를 활용하기 위해서 사전 학습된 BERT에서 임베딩을 추출하는 방법과 다운스트림 태스크를 위한 BERT 파인 튜닝 방법을 정리해 준다.

이렇게 파트 1에서는 BERT의 원조인 트랜스포머, BERT의 기본 개념 및 활용 방법에 대해서 기초를 다져준다. 

파트 2에서는 BERT의 다양한 파생모델에 대해서 2가지 종류로 정리해서 설명해 주고 있다. 4장에서는 가장 많이 인용되고 있는 ALBERT, RoBERTa, ELECTRA, SpanBERT 4가지 모델에 대해서 각각의 특장점을 잘 분석해 준다. 

5장에서는 적은 리소스에서도 탁월한 성능을 보여 주는 지식 증류 알고리즘에 대해서 설명한다. 그리고, 가장 많이 활용되고 있는 DistilBERT와 TinyBERT에 대해서 소개해 주고 있다. 

파트 3에서는 BERT를 다양하게 활용하는 사례와 대표 알고리즘을 보여준다. 6장에서는 텍스트 요약을 위한 BERTSUM에 대해서 설명해 주고, 7장에서는 다국어 표현을 위한 M-BERT와 XLM의 작동 원리를 정리해준다. 

8장에서는 sentence-BERT로 문장 표현 배우는 방법과 지식 증류를 이용한 다국어 임베딩 학습방법으로 domain-BERT에 대해서 자세하게 설명해 주고 있다. 

9장에서는 VideoBERT로 언어 및 비디오 표현 학습을 하는 방버을 설명해 주고, 페이스북 AI에서 도입한 흥미로운 모델인 BART를 정리해준다. 

마지막 장인 10장에서는 대표적인 한국어 언어 모델인 KoBERT, KoGPT2, KoBART에 대해서 정리해서 설명해 주고 있다. 

아마, 목차만 흝어보더라도 BERT를 중심으로 체계적으로 정리를 정말 잘해 놓은 교과서라는 생각이 들 것이다. 특히, 매 장 마무리에서 연습 문제를 내어서, 각 장에서 명확하게 정리해서 이해해야 하는 개념들을 스스로 정리하게 한다. 

책의 마지막 부록 부분에 각 장의 연습 문제에 정답을 정리해 놓았는데, 이 부분을 명확하게 자신의 언어로 표현할 수 있도록 숙달시켜 놓는다면 딥러닝 자연어를 본인의 전공분야로 커리어를 쌓으려는 분들에게는 교과서 같은 도움을 줄 수 있을 것이라고 생각된다. 

그동안에 트랜스포머와 BERT를 제대로 이해하기 위해서 정말 많은 시간과 노력을 들였는데, 이 책을 보면서 이렇게 일목요연하게 정리된 것을 보면서 다시 한번 그동안 공부한 것들을 돌아볼 수 있었고, 비어있었던 부분을 발견할 수 있어서 매우 유익했다. 

이제 딥러닝 자연어에 입문하려는 분들에게는 트랜스포머를 중심으로 BERT에 대해서 완벽하게 꿰뚫어 보고, 자신의 것으로 만들 수 있도록 도움을 주는 최고의 교과서라고 생각된다. 

[PART I BERT 시작하기]

CHAPTER 1 트랜스포머 입문

1.1 트랜스포머 소개
1.2 트랜스포머의 인코더 이해하기
1.3 트랜스포머 디코더 이해하기
1.4 인코더와 디코더 결합
1.5 트랜스포머 학습
1.6 마치며
1.7 연습 문제
1.8 보충 자료

CHAPTER 2 BERT 이해하기

2.1 BERT 기본 개념
2.2 BERT의 동작 방식
2.3 BERT의 구조
2.4 BERT 사전 학습
2.5 하위 단위 토큰화 알고리즘
2.6 마치며
2.7 연습 문제
2.8 보충 자료

CHAPTER 3 BERT 활용하기

3.1 사전 학습된 BERT 모델 탐색
3.2 사전 학습된 BERT에서 임베딩을 추출하는 방법
3.3 BERT의 모든 인코더 레이어에서 임베딩을 추출하는 방법
3.4 다운스트림 태스크를 위한 BERT 파인 튜닝 방법
3.5 마치며
3.6 연습 문제
3.7 보충 자료

 

[PART II BERT 파생 모델]

 

CHAPTER 4 BERT의 파생 모델 I: ALBERT, RoBERTa, ELECTRA, SpanBERT

 

4.1 ALBERT
4.2 ALBERT에서 임베딩 추출
4.3 RoBERTa
4.4 ELECTRA 이해하기
4.5 SpanBERT로 스팬 예측
4.6 마치며
4.7 연습 문제
4.8 보충 자료

CHAPTER 5 BERT 파생 모델 II: 지식 증류 기반

5.1 지식 증류 소개
5.2 DistilBERT: BERT의 지식 증류 버전
5.3 TinyBERT 소개
5.4 BERT에서 신경망으로 지식 전달
5.5 마치며
5.6 연습 문제
5.7 보충 자료

[PART III BERT 적용하기]

CHAPTER 6 텍스트 요약을 위한 BERTSUM 탐색

 

6.1 텍스트 요약
6.2 텍스트 요약에 맞춘 BERT 파인 튜닝
6.3 ROUGE 평가 지표 이해하기
6.4 BERTSUM 모델의 성능
6.5 BERTSUM 모델 학습
6.6 마치며
6.7 연습 문제
6.8 보충 자료

CHAPTER 7 다른 언어에 BERT 적용하기

 

7.1 M-BERT 이해하기
7.2 M-BERT는 다국어 표현이 어떻게 가능한가?
7.3 XLM
7.4 XLM-R 이해하기
7.5 언어별 BERT
7.6 마치며
7.7 연습 문제
7.8 보충 자료

CHAPTER 8 sentence-BERT 및 domain-BERT 살펴보기

8.1 sentence-BERT로 문장 표현 배우기
8.2 sentence-transformers 라이브러리 탐색
8.3 지식 증류를 이용한 다국어 임베딩 학습
8.4 domain-BERT
8.5 마치며
8.6 연습 문제
8.7 보충 자료

CHAPTER 9 VideoBERT, BART

9.1 VideoBERT로 언어 및 비디오 표현 학습
9.2 BART 이해하기
9.3 BERT 라이브러리 탐색
9.4 마치며
9.5 연습 문제
9.6 보충 자료

CHAPTER 10 한국어 언어 모델: KoBERT, KoGPT2, KoBART

10.1 KoBERT
10.2 KoGPT2
10.3 KoBART

 

구글 BERT의 정석 - 한빛출판사

 

※  한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.