머신러닝 공부 순서 ...

투빅스 활동을 하면서 제가 공부했던 내용을 정리한 글입니다.

한동안 죽어있던 정보공유 페이지를 살리고자하는 투빅스 12기 김태한입니다!!

정규세션을 하면서 저는 통계가 부족한거같아요, 저는 수학이 부족한거같아요, 어떻게 공부하죠 이런 질문들을 많이 받았어서 이에대해 정말 미약하지만 힘이 되어드리고자 이렇게 글을 써봅니다.

저두 작년 7~8월 경에 머신러닝 공부를 처음 시작하였고, import pandas as pd를 처음 쳐보았던 입장으로써 가능한 제가 들어보고 읽어봤던 강의, 도서들을 위주로 적어보려고 합니다.

저의 색깔이 굉장히 많이 묻어있으니 취하실 것만 취해가시면 좋을 것 같습니다 :)

특히 제가 강추 하고자하는 정도를 ⋆개수로 옆에 달아두었습니다!

1) 유용한 사이트

• https://www.kaggle.com/ ⋆⋆⋆⋆⋆

이 사이트를 모르는 투빅이 분들이 계실까요...?

이제 여러분들의 실력이시라면 캐글이라는 큰 물에서 자웅을 겨뤄볼때가 되신거같아요!!

• https://datascienceschool.net/⋆⋆⋆

과제를 하시다보면 의도치 않더라도 들어가본 경험이 한번은 있으실거라 생각되는 사이트입니다.

기반닦기에 나쁘지 않다고 생각합니다.

• https://www.edwith.org/⋆⋆⋆⋆

네이버에서 무료로 제공하는 강의 사이트인데 생각보다 퀄이 좋아요.

앤드류 응, 조경현 교수님, 최성철 교수님, 모두의 딥러닝, 하버드 확률 강의를 들어보세요.

저는 여기서 기초를 좀 다졌답니다.

• https://www.facebook.com/groups/TensorFlowKR/ ⋆⋆⋆⋆⋆

• https://www.facebook.com/groups/PyTorchKR/ ⋆⋆⋆⋆⋆

• https://www.facebook.com/groups/modulabs/⋆⋆⋆

• https://www.facebook.com/groups/databreak/⋆⋆⋆

텐서플로우 코리아 같은 페이스북 커뮤니티 입니다.

저는 텐서플로우 코리아, 파이토치 코리아만 가입해서 보는데 정말 sota(state_of_the_art)지식 장난아닙니다...

• https://paperswithcode.com/sota ⋆⋆⋆⋆⋆

이 사이트를 제가 제일 애용하는데요 논문을 페이퍼와 함께 구현 코드들이 있는 github주소로 같이 제공해 주고 있어요.

저는 visual-SLAM을 여기 사이트 코드를 이용해 구현했는데요 구현 코드가 있다는건 정말 행운과 같답니다.

강추 또 강추 드려요.

• https://github.com/jiajunhua/hoya012-deep_learning_object_detection⋆⋆⋆⋆⋆

저번 투빅스 컨퍼런스 연사님으로 오신 hoya012의 object detection paper 리뷰에요.

와 보고 진짜 신세계였습니다.

봐야할 페이퍼들이 이렇게 많구나 또 내용도 되게 좋다는 느낌을 받았어요.

detection관련 paper중에서도 hoya님의 개인적 기준으로 엄선한 paper들이 담겨있어 정말정말 강추합니다.

2) 수학

• contemporary linear algebra, Howard Anton, Robert C. Busby (book) ⋆⋆⋆⋆⋆

• Introduction to Linear Algebra, Fifth Edition , gilbert strang (book) ⋆⋆⋆⋆⋆

위 두 책은 제가 위에껀 두번 아래껀 한번 정독했었습니다.

학교 수업 교재이기도 했고 본래 분야가 선형대수가 필수여서 공부를 했는데요, 머신러닝에서 필요한 선형대수는 두권중 한권만 정독해도 해결된다고 생각이 듭니다. ㅎㅅㅎ

• https://ko.khanacademy.org/math/linear-algebra⋆⋆⋆

제가 살짝 들어봤었는데 선형대수 기반은 사실 여기 강의 내용만 충분히 이해해도 큰 도움이 될거같아요.

-------------------- 좀 과한 경우 --------------------

여기는 만약 본인 domain에서 공부를 하게된다면 도움이 될거같다는 생각에 추가하였습니다.

별은 좀 과하다는 생각에 하나만 붙여 두었어요.

절대 별로라는 의미가 아닙니다.

각 도서는 다 해당 분야에서는 최고의 책들입니다.

• convex optimization, Stephen Boyd, Lieven Vandenberghe (book)⋆

말 그대로 convex optimization과 관련된 도서입니다.

공부하면서 gradient descent나 lagrange multiplier, KKT등의 최적화등의 내용이 나올텐데요, 이 책의 chapter 2 혹은 3에서 소챕터로 나오는 굉장히 기초적인 내용입니다.

이 책 정독한다면(매우 힘드시겠지만) 머신러닝에서 쓰는 최적화 방법은 물흐르듯이 넘어갈 수 있지 않을까 생각합니다.

• numerical methods for engineers 7th edition, Steven Chapra (book)⋆

공과대학 학부수준의 수치해석 책입니다. gradient descent, SGD등의 내용과 해를 구하는 방법등이 나와있으며 어차피 공부해야하는 분들이 계실텐데 이왕 할거 어느정도 연관성이 있으니 빡공하시면 좋을거같아요.

3) 통계

• probability & statistics for engineering & scientists, nineth edition, Ronald E. Walpole, Raymond H. Myers, Sharon L. Myers, Keying Ye (book) ⋆⋆⋆⋆⋆

저도 통계전공이 아니라서 통계를 잘 몰랐는데요 저같은 '통알못'이 통계가 대충 이렇구나 하는데 도움이 되었던 책입니다.

책 읽으면서 유도도 해보고 추정도 연습해보고 하니 아~주 살~짝 통계에 대해서 알겠더라구요 ㅎㅎ

• http://www.kmooc.kr/courses/course-v1:SNUk+SNU212_204_1k+2018_T2/about⋆⋆⋆

• http://www.kmooc.kr/courses/course-v1:SNUk+SNU212_204_2k+2019_T1/about⋆⋆⋆

• http://www.kmooc.kr/courses/course-v1:SNUk+SNU212_204_3k+2018_T2/about⋆⋆⋆

서울대 류근관 교수님의 통계관련 강의입니다.

제가 사실 강의를 보기보단 책을 보는 걸 좋아해서 많이는 듣지 못하였지만 꽤 좋았던거로 기억납니다!

• https://www.edwith.org/harvardprobability⋆⋆⋆

요건 하버드 통계 강의입니다.

사실 이것도 듣다가 말았는데 주변에서 괜찮다고 하더라구요.

• pattern recognition & machine learning, bishop (book)⋆⋆⋆⋆⋆

• http://norman3.github.io/prml/⋆⋆⋆⋆⋆

이 책을 머신러닝 도서로 구분할까 하다가 통계 쪽에 집어넣어봤습니다.

내용이 정말정말 좋아요.

제가 아직 실력이 부족해서 완벽히 이해도 안되구 아직 1회독도 정독을 못하였지만, 그럼에도 불구하고 우와 하면서 보고있는 책입니다.

책이 힘드신 분들은 아래링크가 책을 한글로 번역한 사이트에요.

참 세상에는 대단한 사람들이 많은거같아요 ㅎㅎㅎ

4) 머신러닝, 딥러닝 & 강화학습

• https://www.youtube.com/playlist?list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm⋆⋆⋆

• https://www.edwith.org/deeplearningai1⋆⋆⋆

• https://www.edwith.org/deeplearningai2⋆⋆⋆

• https://www.edwith.org/deeplearningai4⋆⋆⋆

• https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PL3FW7Lu3i5JvHM8ljYj-zLfQRF3EO8sYv⋆⋆⋆⋆⋆

맨 위는 모두의 딥러닝, 중간 3개는 앤드류 응 교수님의 강의, 맨 아래는 cs231n 강의 입니다.

너무 유명한 친구들이라 별 말 안하고 넘어가겠습니다.

• https://www.youtube.com/watch?v=o_peo6U7IRM&t=5398s⋆⋆⋆⋆⋆

이활석님의 autoencoder강의 인데요 총 3개의 영상에 5시간 강의인데 진짜 끝내줍니다.

머리가 펑하면서 뚫리는 기분이었습니다. 최고최고

• deep learning book, ian goodfellow (book)⋆⋆⋆⋆⋆

gan의 창시자 우리의 좋은친구(goodfellow)님의 딥러닝 도서입니다.

현재 제가 스터디하면서 공부중인데 딥러닝 전반에 걸쳐 내용 정말 괜찮고 좋습니다.

다만, 어느정도 깊어지려하면 소개만 딱하고 넘어가는 부분들이 있습니다.

그래서 개인적으로는 글에서 해당 내용의 논문들의 이름을 적어주는데 논문들도 읽어보고 혼자 깊게 깊게 찾아보며 공부하면 정말 시야가 좀 달라지는 책인거같습니다.

• 밑바닥부터 시작하는 딥러닝 1/2 (book) ⋆⋆⋆⋆⋆

두권다 정독하고 싹 다 구현후 이해하면 제 생각엔 paper 리딩이나 위의 deep learning book으로 넘어가도 좋을 기반닦기에(사실 기반이라고 보기에 어려운 부분들도 있지만) 정말 좋은 책이라 생각합니다.

거의 딥러닝계 필독서!

• https://www.youtube.com/watch?v=2pWv7GOvuf0&list=PLzuuYNsE1EZAXYR4FJ75jcJseBmo4KQ9-⋆⋆⋆⋆⋆

알파고 창시자 데이비드 실바 교수님의 강화학습 강의입니다.

강화학습전반에 걸쳐서 흐름도 잡아주고 내용도 강화학습 시작의 정석이라 불릴 정도로 좋습니다.

다만 function유도에서 증명들이 거의 생략되어있다는 점.

식들을 해를 구하기 쉬운 형태로 변화시킬때 굉~장히 고난도의 수학적인 방법들을 사용하는데 그 과정들이 생략되어 있는부분들이 꽤 있습니다.

당장 DP만 해도 원래 linear problem을 역행렬 연산으로 구해도 되지만 연산량의 문제로 gauss-seidel iteration으로 구하는데 이런 부분들은 언급이 안되어있어서 개인적으로는 '어 갑자기?' 라고 생각할때가 종종있곤 했습니다.

• Reinforcement Learning , richard s. sutton (book)⋆⋆⋆⋆⋆

위의 실바교수님 강의에서 들었던 '어 갑자기?'를 해결해주던 책입니다.

요놈 저어어엉~말 강추합니다.

실바교수님 강의 다 들으시고 정독해보시면 와우 하실거같아요.

5) 주요 학회 및 행사

제가 자주 들어가면서 기웃거리는 학회들입니다.

원래 유료인데요 학교에서는 학생들의 경우 무료로 볼 수 있도록 해줘요.

저희 학교의 경우 도서관 홈페이지 주소에서 학번으로 로그인 후 저널을 치면 들어가 지더라구요.

무료일때 많이 보면 좋을 거 같아요.

이거 굉장히 비싸더라구요...

• 투빅스 conference⋆⋆⋆⋆⋆

엄청난 행사입니다.

패쓰

• ICLR ⋆⋆⋆⋆⋆

인공지능 학회 중 가장 큰 규모의 학회이지 않을까요.

투빅스 분들의 다양한 관심사를 모두 충족시켜주지 않을까 합니다.

SOTA논문은 여기서 찾아보시면 좋을거에요.

• ICCV, CVPR⋆⋆⋆⋆⋆

내가 이미지나 vision을 다룬다면 무적권 알아야하는 학회입니다.

컴퓨터 비전의 세계 깡패 학회에요.

작년의 경우 ICCV가 서울에서 열렸었는데 저는 기회가 안되서 못갔었지만 가보셨던 투빅스분들이 꽤 계시더라구요.

(12기에서는 승현이가 갔었어요 궁금한거 물어보시면 될거같아요)

• EMNLP-IJCNLP⋆⋆⋆⋆⋆

사실 제가 NLP에 큰 관심이 없어서 잘은 모르지만 NLP를 한다하면 이 학회가 세계에서 가장 권위가 있다고 합니다.

NLP SOTA논문은 여기서 찾아보시면 좋을거같아요.

• ICRA , IROS⋆⋆⋆⋆⋆

사실 투빅스의 방향성하고는 멀 수 있다고 생각하지만, 로봇 강화학습 및 머신러닝의 양대산맥입니다.

제가 핵 애용하는 학회 입니다.

ICRA의 경우 직접 가봤었는데 저랑 domain이 어느정도 겹치시면 무적권 강추합니다.

• ICML⋆⋆⋆⋆⋆

머신러닝에서 가장 오래된 학회라고 합니다.

• CES⋆⋆⋆⋆⋆

학회는 아니고 약간 전시회? 느낌인데요 세계에서 각 기업의 최신 기술동향을 알 수 있습니다.

매년 라스베거스에서 열리는데 유튜브로 그냥 시청정도하시면 아 이런 기술이 산업군에서는 유망하구나 싶더라구요.

뭔가 쓰다보니 대부분 별 다섯개네요 ㅋㅋㅋㅋㅋㅋㅋㅋ
긴 글 읽어주셔서 너무 감사드립니다.
다음번에는 공모전이나 여러분들이 참여하면 역량을 발휘하실 수 있는 행사나 대회들을 포스팅 해볼게요.
그럼 이만. 총총

from: https://velog.io/@han811/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EA%B3%B5%EB%B6%80-%EA%B4%80%EB%A0%A8-%EC%9E%90%EB%A3%8C