논문을 보다가 Visual Attention을 만났습니다.
그래서 본격적으로 Attention에 관한 이해를 넓히기 위해 여러 Material들을 찾아다니며 보았습니다.
이렇게 공부하면서 찾은 Material들과 커리큘럼을 소개합니다.

Attention 개론

by Information and Intelligence

190722 attention playlist Attention Youtube Playlist

가장 먼저 Attention의 개념과 발상에 대해 생각해 볼 수 있는 아주 좋은 강의입니다.
생명과학이나 뇌인지 분야에서 말하는 Attention의 정의로부터 출발하여 Computer Vision, NLP까지 깔끔하게 정리한 아주 좋은 강의입니다.
본격적으로 수식에 뛰어들기에 앞서 Top-down방식의 넓은 이해를 갖추기에 굉장히 좋은 강의입니다.

Sequential Model Lecture by Andrew Ng

Attention은 Bidirectional RNN을 이용했으므로, Sequential 모델에 대한 이해가 필요합니다.
거의 정석처럼 통하는 Andrew Ng의 Coursera 강의를 빠르게 한번 훑어보시는걸 추천합니다.

Papers!

이제 본격적으로 Paper를 들여다 봅니다. 굵직굵직한 Paper들 위주로 순서대로 정리했습니다.

“Neural Machine Translation by Jointly Learning to Align and Translate”(ICLR2015)

“Show and Tell: A Neural Image Caption Generator”(CVPR2015)

수식적으로 조금 더 알고싶다고 할 때 위 영상을 추천드립니다.

“Attention is All You Need”[NIPS2017]

More Visual Attention Paper Lists

이제 Attention 에 대한 기본 지식은 갖추었습다.
State of Arts 까지의 항해는 다음 Paper List를 따라 가시면 됩니다.

  1. Recurrent Model of Visual Attention(NIPS 2014)
  2. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention(ICML 2015)
  3. Multiple Object Recognition with Visual Attention(ICRL 2015)
  4. spatial transformer networks(NIPS 2015)
  5. A Recurrent Neural Network For Image Generation(ICML 2015)
  6. Self-Taught Object Localization with Deep Networks(WACV 2016)
  7. Learning Deep Features for Discriminative Localization(CVPR 2016)
  8. Stacked Attention Networks for Image Question Answering(CVPR 2016)
  9. Attention to Scale: Scale-aware Semantic Image Segmentation(CVPR 2016)
  10. Look Closer to See Better: Recurrent Attention Convolutional Neural Network for Fine-grained Image Recognition(CVPR 2017)
  11. Residual Attention Network for Image Classification(CVPR 2017)
  12. Mask R-CNN(ICCV 2017)
  13. DensSiam: End-to-End Densely-Siamese Network with Self-Attention Model for Object(ISVC 2018)
  14. Conditional Transfer with Dense Residual Attention: Synthesizing traffic signs from street-view imagery(ICPR 2018)
  15. Detail Preserving Depth Estimation from a Single Image Using Attention Guided Networks(3DV 2018)
  16. Attention Gated Networks:Learning to Leverage Salient Regions in Medical Images
  17. CBAM: Convolutional Block Attention Module(ECCV 2018)
  18. BAM: Bottleneck Attention Module(BMVC 2018)
  19. Dual Attention Network for Scene Segmentation(AAAI 2019)
  20. Self-Attention Mechanisms in Natural Language Processing

여러분 화이팅입니다!

Comments

Eungbean Lee's Picture

About Eungbean Lee

Lee is a Student, Programmer, Engineer, Designer and a DJ

Seoul, South Korea https://eungbean.github.io