[E-11] 뉴스 요약봇 만들기

Opening

---

• 뉴스 요약봇이 활용될 수 있는 다양한 사례에 대해서 아이디어를 내고 토론해 봅시다.
  • [예시 답안]
  • 보고서 요약
  • SNS 등 다양한 브랜드 매체의 고객 댓글 요약
  • 게시글 요약
  • 채팅방 주요 논의 내용 요약
  • 회의록 요약
  • 이메일 요약 등
• 인간은 어떻게 처리할까요? 한번 생각해 봅시다!
  • 여러분들은 누군가에게 읽은 책이나 영화의 줄거리를 설명할 때 어떻게 하시나요?
  • 사람은 어떤 사고방식으로 긴 글을 요약할 수 있을까요?

 

Check-up 항목

---

• "Attention 기법"은 seq2seq을 비롯하여 향후 다양한 딥러닝 분야를 획기적으로 발전시킨 핵심 개념이 됩니다. "Attention 기법" Key 아이디어가 무엇인지 그 주요 특징에 대해서 동료들과 토론해 봅시다.
  • [예시 답안]
  • 어텐션의 Key 아이디어
    • 주요 아이디어는 디코더에서 출력 단어를 예측하는 매 시점(time step)마다, 인코더에서의 전체 입력 문장을 다시 한번 참고한다는 점입니다.
    • 단, 전체 입력 문장을 전부 다 동일한 비율로 참고하는 것이 아니라, 해당 시점에서 예측해야 할 단어와 연관이 있는 입력 단어 부분을 좀 더 집중(attention)해서 보게 됩니다.
  • 어텐션의 메카니즘의 상세 내용
    1. 어텐션 스코어(Attention Score)를 구한다.
    2. 소프트맥스(softmax) 함수를 통해 어텐션 분포(Attention Distribution)를 구한다.
    3. 각 인코더의 어텐션 가중치와 은닉 상태를 가중합하여 어텐션 값(Attention Value)을 구한다.
    4. 어텐션 값과 디코더의 t 시점의 은닉 상태를 연결한다.(Concatenate)
    5. 출력층 연산의 입력이 되는 St를 계산합니다.
    6. St를 출력층의 입력으로 사용합니다.

위키독스

 

Closing

---

• 어텐션 메카니즘은 이후에 다양한 분야에서 활용이 되고 있습니다. 이 부분에 대해서 찾아보고 동료들과 함께 토론해 보세요.
  • [예시 답안]
  • Visual Attention
  • Multi-head Attention
  • Attention in Encoder & Decoder
  • Transformer 등

 

참고자료

---

• 밑바닥부터 이해하는 어텐션 메커니즘

밑바닥부터 이해하는 어텐션 메커니즘(Attention Mechanism)

 

뉴스 요약봇 만들기