[E-10] 인물사진을 만들어 보자

Opening

---

• 이미지 세그멘테이션으로 해결할 수 있는 문제에 대해서 생각해 봅시다.
  • [예시 답안]
  • Semantic Segmentation 은 컴퓨터 비전 분야에서 가장 핵심적인 분야 중에 하나입니다.
  • 단순히 사진을 보고 분류하는것에 그치지 않고 그 장면을 완벽하게 이해해야 하는 높은 수준의 문제입니다.
  • 자율주행에서부터 최근 Kaggle 에서 있었던 ‘해상에서 선박 찾기'까지, 적용 분야가 무궁무진 합니다.

 

Check-up 항목

---

• Depthwise separable convolution은 무엇이며, 왜 이 구조가 효율적일까요?
  • [예시 답안]
  • 정의: Convolution 연산에서 channel 축을 filter가 한 번에 연산하는 대신에, 입력 영상의 channel 축을 모두 분리시킨 뒤, channel 축 길이를 항상 1로 가지는 여러 개의 convolution 필터로 대체시킨 연산을 depthwise convolution이라고 합니다.
  • 장점
    1. 기존 convolution과 유사한 성능을 보이면서도 사용되는 파라미터 수와 연산량을 획기적으로 줄일 수 있습니다.
    2. Depthwise separable convolution은 기존 convolution filter가 spatial dimension과 channel dimension을 동시에 처리하던 것을 따로 분리시켜 각각 처리한다고 볼 수 있습니다.
    3. 이 과정에서, 여러 개의 필터가 spatial dimension 처리에 필요한 파라미터를 하나로 공유함으로써 파라미터의 수를 더 줄일 수 있게 됩니다.
    4. 두 축을 분리시켜 연산을 수행하더라도 최종 결과값은 결국 두 가지 축 모두를 처리한 결과값을 얻을 수 있으므로, 기존 convolution filter가 수행하던 역할을 충분히 대체할 수 있게 됩니다.
    5. 픽셀 각각에 대해서 label을 예측해야 하는 semantic segmentation은 난이도가 높은 편에 속하기 때문에 CNN 구조가 깊어지고 receptive field를 넓히기 위해 더 많은 파라미터들을 사용하게 되는 상황에서, separable convolution을 잘 활용할 경우 모델에 필요한 parameter 수를 대폭 줄일 수 있게 되므로 보다 깊은 구조로 확장하여 성능 향상을 꾀하거나, 기존 대비 메모리 사용량 감소와 속도 향상을 기대할 수 있습니다.

 

인물사진

Closing

---

• 이번 노드에서 실행해 본 세그멘테이션에서 아쉬운 점들과 이를 해결하기 위한 관련 최신 논문을 찾아보고 어떤 문제를 개선했는지에 대해서 토론해 봅시다.
  • [예시 답안]
  • 딥러닝 모델들은 대체로 좋은 성능을 보이지만, 학습을 위한 데이터가 많이 필요하다는 단점이 있기 때문입니다.
  • 이번 논문에서는 딥러닝 모델들이 가지는 capacity의 차이를 이용하여, 세포핵의 경계를 전부 표시한 mask가 아닌 point label만을 써서 세포핵 분할을 학습시킵니다.
  • PseudoEdgeNet: Nuclei Segmentation only with Point Annotations

PseudoEdgeNet: Nuclei Segmentation only with Point Annotations

 

참고자료

---

• 텐서 플로의 기본에 대해서 잘 설명한 블로그입니다.
  • [러닝 텐서플로]Chap03 - 텐서 플로의 기본 이해하기

[러닝 텐서플로]Chap03 - 텐서플로의 기본 이해하기