이 저장소를 활용하시는 모든 분들께 알리는 중요 공지사항 (2021.01.05)
여러 랩 실습 코드 내에서
optimizer.zero_grad()가 매 iteration의 초반부에 호출되지 않고 Epoch 마다 한번씩만 실행되는 오류가 있었습니다. 해당 오류들은 모두 파악하여 trainloader 내에서 호출되도록 변경하였습니다. 오류 정정으로 강의 영상 상에서 보여지는 코드와 일부 달라질 수 있으나 본 저장소의 코드를 기준으로 강의를 수강해주시면 감사하겠습니다. (오류를 알려주신 @High-East님, 이준재님 감사드립니다.)
Standalone-DeepLearning
2019 KAIST 딥러닝 홀로서기 세미나용 저장소입니다.
각 세미나는 3~4개의 강의 세션과 실습 세션들로 구성되어 있습니다.
- 슬라이드를 원하시는 경우
슬라이드링크를 통해 들어가신 후 우측 중간 쯤에 있는Download버튼을 누르시면 다운로드가 가능합니다. - 오프라인 세미나 영상 자료는 유튜브 채널 혹은
비디오링크를 통해 확인하실 수 있습니다. - 실습 코드는
실습 코드링크를 통해 들어가셔서 확인할 수 있으며 구글 콜라이보레이터를 통해서 직접 실행을 시키고 싶은 경우 실습 코드네 안내를 참고해주세요! - 📑는 시작하기 전에 보면 좋은 자료, ✏️는 이론 강의, 📊는 실습 강의, 🎓는 과제 그리고 📢는 각 회차에 대한 피드백을 남길 수 있는 설문 링크입니다!
만약 저희 세미나가 마음에 드셨다면 우측 상단에 있는 🌟Star를 박아주세요! 미리 감사드리겠습니다!
Contents
Lec1 (01/17, Thur)
딥러닝 홀로서기 세미나 오리엔테이션, Machine Learning Basic과 Linear Regression에 대한 내용을 다뤘습니다.
✏️ Lec1-B(Machine Learning Basic) / 슬라이드 / 비디오
✏️ Lec1-C(Linear Regression) / 모두를 위한 머신러닝-딥러닝 강의 슬라이드1, 슬라이드2, 슬라이드3 / 비디오
📊 Lab1(Linear Regression) / 실습 코드 / 비디오
📢 1회차를 즐기셨거나 혹은 어려웠다면 피드백을 남겨주세요! / 피드백 설문
Lec2 (01/21, Mon)
Logistic Regression, Multi-Label Classification, Artificial Neural Network
<시작 전에 보면 좋은 자료들>
📑 Python Class를 잘 모르겠다 -> 점프 투 파이썬 - 클래스 편
📑 Python 자료형을 잘 모르겠다(tuple, dictionary, set 등) -> 점프 투 파이썬 - 자료형 편
📑 Numpy와 빠르게 익숙해지고 싶다 -> 김태완님 - Numpy CheatSheet
📑 다양한 변수들로 실험한 결과를 관리하고 시각화하고 싶다 -> 조재영 - Tox21 MLP
📊 Lab2(Pytorch Regression) / 실습 코드 / 비디오1, 비디오2
📊 Lab3(Pytorch Classification) / 실습 코드 / 비디오
🎓 Assignment1(Pytorch MNIST) / 시작 코드 / 설명 비디오 /
피드백 및 과제 제출용 설문 / (Due: 2019.01.23(Wed) 22:00)
📢 2회차를 즐기셨거나 혹은 어려웠다면 피드백을 남겨주세요! / 피드백 설문
Lec3 (01/24, Thur)
Model Capacity, Overfitting/Underfitting, Regularization
<시작 전에 보면 좋은 자료들>
📑 Train, Validation, Test 뭔가 헷갈린다?? -> About Train, Validation and Test Sets in Machine Learning
📑 Pandas 맛보기 -> 10 Minutes to Pandas
📑 실험 결과 로깅을 위한 json 파일 포맷 이해하기 -> JSON으로 작업하기
📑 matplotlib보다 더 쩌는 시각화 라이브러리 -> seaborn
📊 Lab4(Pretty Code) / 실습 코드 / 비디오
🎓 Assignment2(Cifar10 Hyperparameter Tuning) / 시작 코드 / 설명 비디오 /
피드백 및 과제 제출용 설문 / (Due: 2019.01.27(Sun) 22:00)
📢 3회차를 즐기셨거나 혹은 어려웠다면 피드백을 남겨주세요! / 피드백 설문
Lec4 (01/28, Mon)
Optimizer, Visualize 5 dimension Data with Pandas & Seaborn
✏️ Lec4-A(with Lab5) / 슬라이드 / 실습 코드 / 비디오
🎓 Assignment3(Again, Cifar10 Hyperparameter Tuning) / 시작 코드 /
피드백 및 과제 제출용 설문 / (Due: 2019.01.30(Wed) 22:00)
📢 4회차를 즐기셨거나 혹은 어려웠다면 피드백을 남겨주세요! / 피드백 설문
Lec5 (01/31, Thur)
Basic of Convolutional Neural Network (CNN)
✏️ Lec5-A (Review of assignment #3) / 과제 코드 / 비디오
🎓 Assignment4(CIFAR-10 classification with CNN) / 시작코드 / 피드백 및 과제 제출용 설문 / (Due: 2019.02.06(Wed) 22:00)
📢 5회차를 즐기셨거나 혹은 어려웠다면 피드백을 남겨주세요! / 피드백 설문
Lec6 (02/07, Thur)
Advanced CNN Architectures (Skip-connection, Inception, ResNet)
✏️ Lec6-A (Review of assignment #4) / 과제 코드 / 비디오
🎓 Assignment5(CIFAR-100 classification with ResNet) / 시작코드 / 피드백 및 과제 제출용 설문 / (Due: 2019.02.010(Sun) 22:00)
📢 6회차를 즐기셨거나 혹은 어려웠다면 피드백 남겨주세요! / 피드백 설문
Lec7 (02/11, Mon)
Basic of Recurrent Neural Network (RNN)
✏️ Lec7-A (Review of assignment #5) / 과제 코드 / 비디오
📢 7회차를 즐기셨거나 혹은 어려웠다면 피드백 남겨주세요! / 피드백 설문
Lec8 (02/14, Thur)
Advanced RNN Architectures (LSTM, GRU)
<시작 전에 보면 좋은 자료들>
📑 LSTM을 시각적으로 쉽게 이해하고 싶다면 -> Understanding LSTM Networks - Colah's Blog
📑 pytorch에서 나만의 데이터셋을 만들려면? -> Data Loading Tutorial - Pytorch Official Tutorial
📑 LSTM을 pytorch에서 정확하게 쓰려면? -> LSTM for time series in pytorch - Jessica's Blog
📢 8회차를 즐기셨거나 혹은 어려웠다면 피드백 남겨주세요! / 피드백 설문
Lec9 (02/18, Mon)
Basic of Graph Convolutional Network (GCN)
<시작 전에 보면 좋은 자료들>
📑 GCN을 찬찬히 제대로 다시 공부하고 싶다면? -> Graph Convolutional Networks - Thomas's Blog
📑 분자 데이터를 쉽게 다룰 수 있는 RDkit 라이브러리를 더 알고 싶다면? -> Practice RDkit - Seongok's Jupyter Notebook
📢 9회차를 즐기셨거나 혹은 어려웠다면 피드백 남겨주세요! / 피드백 설문
Lec10 (02/21, Thur)
Generative Model: VAE and GAN
<시작 전에 보면 좋은 자료들>
📑 Maximum Likelihood에 대해 궁금하다면? -> Probability vs Likelihood
📢 10회차를 즐기셨거나 혹은 어려웠다면 피드백 남겨주세요! / 피드백 설문
Course Review
저희 세미나와 함께 해주셨던 분들이 남겨주신 최종 피드백입니다.
어려운 내용도 쉽게 설명해주시려 했던점, 항상 매 강의마다 피드백을 받고 개선하시려던 모습, 어려운부분/궁금한 점은 없는지 한 학생 한학생 신경쓰시면서 수업 진행해주셔서 감사했습니다. 덕분에 딥러닝에 대해 자세히 공부할 수있는 시간이었고, 무엇보다도 가장 좋았던 것은 이론과 함께 실제 코드에서는 어떻게 사용되는지 실습까지 함께 이루어져서 좋았습니다. 한달동안 강사분들 너무 수고하셨어요~
-문화기술대학원 석사과정 수강생
혼자서 어떻게 딥러닝에 대해 알아야되나 고민을 했는데 해결이 조금 된것 같습니다. 좋은 강의 잘 들었습니다!
-생명과학과 석사과정 수강생
파이썬에 대한 기초 지식없이 수강 신청부터 해버려서 진도를 따라감에 있어서 다소 어려움이 있었으나 강의 자체는 많은 도움이 되었습니다. 감사합니다~
-기술경영학과 박사과정 수강생
강의하시느라 고생이 많으셨습니다. 중간부터는 제가 박사과정학생인 관계로 참석을 하지 못해서 죄송할 뿐입니다. 유익한 수업 덕분에 많은 것들을 배워갑니다.
-생명화학공학과 박사과정 수강생
수업 시간에 실습을 하는 수업을 처음 들어봤는데 장단점이 모두 있었습니다. 일단 코딩을 시작한지 얼마 안된 입장에서는 이미 완벽하게 짠 코드를 보고 할 때보다 코드 한줄 한줄이 어떤 순서로 왜 들어갔는지 이해하기 좋았고, 문제가 생겼을 때 디버깅/트러블슈팅을 어떻게 하는지 알 수 있어 특히 유용했습니다! 동시에 그만큼 코딩이 익숙하지 않은 사람은 후반부 수업에서는 '이미 프로그래밍을 어느 정도 해본 선생님들의 코딩 방식+오늘 배운 개념+이전에 짠 코드를 바탕으로 추가되는 모듈'을 따라가는 것이 조금 버겁게 느껴질 때가 있었네요. 하지만 좀 버거워도 지금 이렇게 수업을 듣고 코딩을 해본 것이, 당장은 이해가 안되도 매번 MNIST, CIFAR 같은 쉬운 데이터셋만 다루는 것보다 나중에 참고해서 공부하면 장기적으로 더 좋겠다는 생각도 듭니다! 이론 수업은 제가 이전에 몇 번 공부를 하기도 했고, 또 너무 수학적으로 치우치지 않으면서도 대충 용어만 설명하지 않고 도출 과정의 논리를 말씀해주셔서 알맞게 좋았습니다. 잠도 제대로 못자고 수업 준비 하고, 무려 라이브코딩과 과제리뷰(나중엔 거의 못냈지만 다 시도는 해보았습니다)까지 어마무시한 수업 준비하고 강의해주신 것 다시 한 번 정말 감사드립니다!
-문화기술대학원 석사과정 수강생
여건을 고려하면 아주 훌륭한 강의였습니다! 특히 두 분의 강의력에 매번 감탄하며 수업을 들었던 기억이 나네요 :) 현실적으로 가능하다면 추후에는 좀 더 다양한 real world problem case에 대해 실습을 진행하면 좋지 않을까 싶네요ㅎㅎ 덕분에 겨울방학을 보람차게 보낼 수 있었습니다. 강의 진행하신 두 분, 그리고 이 강의에 도움 주신 모든 분들께 감사드립니다
☺️
-화학과 학사과정 수강생
코딩을 직접보고 어떻게 작성하는지 그 과정을 지켜보는 것도 흥미로왔고 짜여져 있는 코드를 내 상황에 맞는 변수로 수정해서 작동해 보며 프로그래밍에 훨씬 친숙해지는 계기가되어 좋았음 애쓰셨습니다.
-투자정보과 박사과정 수강생
만든이
조재영(Kevin Jo)1,2,3, 김승수(SeungSu Kim)1,2,3
1 현재는 오토피디아에서 차량문제 해결 서비스, 닥터차를 만들고 있어요!
2 딩브로 주식회사
3 KAIST
오토피디아는 지금 채용 중!
> 포지션 살펴보기