트랜스포머3 [서평] 구글 BERT의 정석 #BERT #버트 #인공지능 #자연어 #트랜스포머 #언어모델 #BERT변형 #KoBERT #BioBERT #RoBERTa #ALBERT 그동안 딥러닝 자연어 공부를 하면서 트랜스포머를 중심으로 BERT로, 그다음에는 BERT의 파생 모델로 계속 공부를 이어나갔다. 하지만 생각보다 어떤 순서로 공부해야 할지 막막했고, 하나하나의 내용도 어렵다 보니 정리가 되지 않았다. 이런 상황에서 이 책은 정말 핵심 개념을 깔끔하게 정리해 준 트랜스포머와 BERT의 교과서가 아닌가 생각된다. 아마, 목차를 보시면 얼마나 체계적으로 기초 개념부터 정리해 주고 있는지 바로 확인할 수 있을 것이다. 우선, 첫 장에는 BERT에 적용된 기본 아키텍처인 트랜스포머에 대해서 정말 상세하고 이해하기 쉽게 설명해 주고 있다. 이렇게 .. 2021. 11. 22. [E-15] 트랜스포머로 만드는 대화형 챗봇 Opening 트랜스포메이션이 어떤 점에서 이득을 가져왔을 까요? [예시 답안] RNN 혹은 CNN을 사용하지 않고 attention만 사용해서 연산량이 매우 줄였다. 그럼에도 불구하고 성능도 매우 높게 나오는 모델이라는 점 트랜스포머는 여러 테스크에서 좋은 성능을 보이면서도 더 발전할 가능성이 보이는 모델입니다. 가장 먼저 두각을 나타낸 자연어 처리에서의 트랜스포머의 구현을 노드를 따라가면서 공부해봅시다! Check-up 항목 tensorflow 버전 때문에 아래 명령어로 바꿔서 진행해야 합니다. → AIFFEL 강남 공부방글 참고 Slack aiffel.slack.com print("살짝 오래 걸릴 수 있어요. 스트레칭 한 번 해볼까요? 👐") # 질문과 답변 데이터셋에 대해서 Vocabulary 생.. 2021. 3. 1. [E-11] 뉴스 요약봇 만들기 Opening 뉴스 요약봇이 활용될 수 있는 다양한 사례에 대해서 아이디어를 내고 토론해 봅시다. [예시 답안] 보고서 요약 SNS 등 다양한 브랜드 매체의 고객 댓글 요약 게시글 요약 채팅방 주요 논의 내용 요약 회의록 요약 이메일 요약 등 인간은 어떻게 처리할까요? 한번 생각해 봅시다! 여러분들은 누군가에게 읽은 책이나 영화의 줄거리를 설명할 때 어떻게 하시나요? 사람은 어떤 사고방식으로 긴 글을 요약할 수 있을까요? Check-up 항목 "Attention 기법"은 seq2seq을 비롯하여 향후 다양한 딥러닝 분야를 획기적으로 발전시킨 핵심 개념이 됩니다. "Attention 기법" Key 아이디어가 무엇인지 그 주요 특징에 대해서 동료들과 토론해 봅시다. [예시 답안] 어텐션의 Key 아이디어 주.. 2021. 2. 16. 이전 1 다음
