Bert2 [서평] 구글 BERT의 정석 #BERT #버트 #인공지능 #자연어 #트랜스포머 #언어모델 #BERT변형 #KoBERT #BioBERT #RoBERTa #ALBERT 그동안 딥러닝 자연어 공부를 하면서 트랜스포머를 중심으로 BERT로, 그다음에는 BERT의 파생 모델로 계속 공부를 이어나갔다. 하지만 생각보다 어떤 순서로 공부해야 할지 막막했고, 하나하나의 내용도 어렵다 보니 정리가 되지 않았다. 이런 상황에서 이 책은 정말 핵심 개념을 깔끔하게 정리해 준 트랜스포머와 BERT의 교과서가 아닌가 생각된다. 아마, 목차를 보시면 얼마나 체계적으로 기초 개념부터 정리해 주고 있는지 바로 확인할 수 있을 것이다. 우선, 첫 장에는 BERT에 적용된 기본 아키텍처인 트랜스포머에 대해서 정말 상세하고 이해하기 쉽게 설명해 주고 있다. 이렇게 .. 2021. 11. 22. [E-19] BERT로 영화리뷰 감성분류하기 Opening ★ 기존의 LSTM과 비교해서 BERT가 어떤 점에서 다른지 함께 토론해 봅시다. [예시 답안] 1. BERT(Pre-training of Deep Bidirectional Transformers for Language Understanding)란? 구글에서 개발한 NLP(자연어 처리) Pre-trained(사전 훈련) 기술이며, 특정 분야에 국한된 기술이 아니라 모든 자연어 처리 분야에서 좋은 성능을 내는 범용 Language Model입니다. 11개 이상의 자연어처리 과제에서 BERT가 최첨단 성능을 발휘한다고 하지만 그 이유는 잘 알려져 있지 않다고 합니다. 하지만 BERT는 지금까지 자연어 처리에 활용하였던 앙상블 모델보다 더 좋은 성능을 내고 있어서 많은 관심을 받고 있는 언어 모.. 2021. 3. 16. 이전 1 다음
