자연어처리3 [E-19] BERT로 영화리뷰 감성분류하기 Opening ★ 기존의 LSTM과 비교해서 BERT가 어떤 점에서 다른지 함께 토론해 봅시다. [예시 답안] 1. BERT(Pre-training of Deep Bidirectional Transformers for Language Understanding)란? 구글에서 개발한 NLP(자연어 처리) Pre-trained(사전 훈련) 기술이며, 특정 분야에 국한된 기술이 아니라 모든 자연어 처리 분야에서 좋은 성능을 내는 범용 Language Model입니다. 11개 이상의 자연어처리 과제에서 BERT가 최첨단 성능을 발휘한다고 하지만 그 이유는 잘 알려져 있지 않다고 합니다. 하지만 BERT는 지금까지 자연어 처리에 활용하였던 앙상블 모델보다 더 좋은 성능을 내고 있어서 많은 관심을 받고 있는 언어 모.. 2021. 3. 16. [E-11] 뉴스 요약봇 만들기 Opening 뉴스 요약봇이 활용될 수 있는 다양한 사례에 대해서 아이디어를 내고 토론해 봅시다. [예시 답안] 보고서 요약 SNS 등 다양한 브랜드 매체의 고객 댓글 요약 게시글 요약 채팅방 주요 논의 내용 요약 회의록 요약 이메일 요약 등 인간은 어떻게 처리할까요? 한번 생각해 봅시다! 여러분들은 누군가에게 읽은 책이나 영화의 줄거리를 설명할 때 어떻게 하시나요? 사람은 어떤 사고방식으로 긴 글을 요약할 수 있을까요? Check-up 항목 "Attention 기법"은 seq2seq을 비롯하여 향후 다양한 딥러닝 분야를 획기적으로 발전시킨 핵심 개념이 됩니다. "Attention 기법" Key 아이디어가 무엇인지 그 주요 특징에 대해서 동료들과 토론해 봅시다. [예시 답안] 어텐션의 Key 아이디어 주.. 2021. 2. 16. [E-6] 작사가 인공지능 만들기 Opening 자연어 처리에 가장 기본이 되는 시퀀스2시퀀스 모델에 대해서 배웁니다. 가장 기본이 되는 개념들을 집고 넘어갑시다. 시퀀스2시퀀스, 코퍼스, 토큰화의 뜻은 무엇일까요? [예시 답안] 시퀀스2시퀀스: 모델은 한 문장(시퀀스)을 다른 문장(시퀀스)으로 변환하는 모델입니다. seq2seq를 Encoder-Decoder 모델이라고도 합니다. 아래와 같이 seq2seq 모델은 인코더(Encoder)와 디코더(Decoder)로 구성되어 있기 때문입니다. 문자 그대로 인코더는 입력 데이터를 인코딩(부호화)하고, 디코더는 인코딩 된 데이터를 디코딩(복호화)합니다. 즉, 인코더는 입력을 처리하고 디코더는 결과를 생성합니다. 코퍼스: 말뭉치(Corpus)란, "대량의 텍스트 데이터"입니다. 그냥 텍스트가 아.. 2021. 1. 20. 이전 1 다음
