Deep Learning Course Codes

Notes, Codes, and Tutorials for the Deep Learning Course at ChinaHadoop

注意每一份代码分别有Jupyter Notebook, Python, 以及HTML三种形式，大家可以按照自己的需求阅读，学习或运行。 运行时需要注意anaconda的版本问题，anaconda2-5.0.0与anaconda3-5.0.0分别对应python2.7与python3.6环境。

重要参考资料：

1. Stanford CS229 Machine Learning, Fall 2017
2. Deep Learning Book读书笔记
3. Hands-on Machine Learning with Scikit-Learn and TensorFlow [book]

学习资料：

1. Effective TensorFlow - TensorFlow tutorials and best practices.
2. Finch - Many Machine Intelligence models implemented (mainly tensorflow, sometimes pytorch / mxnet)
3. Pytorch Tutorials - PyTorch Tutorial for Deep Learning Researchers.
4. MXNet the straight dope - An interactive book on deep learning. Much easy, so MXNet. Wow.

第一讲：深度学习课程总览与神经网络入门

代码示例：TensorFlow基础与线性回归模型(TensorFlow, PyTorch)

• MNIST数据集演示
• TensorFlow基础
• 线性回归模型-TensorFlow
• 线性回归模型-PyTorch
• 线性回归模型-MXNet (contributed by LinkHS)

第二讲：传统神经网络

代码示例：K近邻算法，线性分类，以及多层神经网络(TensorFlow, PyTorch)

• K近邻算法在图像分类上的应用-TensorFlow
• K近邻算法在图像分类上的应用-PyTorch (contributed by Johnny Chen)
• 多层神经网络示例-TensorFlow
• 多层神经网络示例-PyTorch

第三讲：卷积神经网络基础

代码示例：卷积神经网络的基础实现(TensorFlow)

• 卷积神经网络基础示例-原生实现
• 卷积神经网络基础示例-主流实现

第四讲：卷积神经网络进阶

代码示例：卷积神经网络的进阶实现(TensorFlow)

• 卷积神经网络进阶示例与可视化
• 卷积神经网络进阶示例-TF-Slim实现

• 准备自定义数据集训练卷积神经网络
• 使用自定义数据集训练卷积神经网络

• 使用训练好的VGG网络模型
• 使用自定义数据集训练VGG网络模型

• 基于TensorBoard的CNN可视化

• 更多基于TF-Slim的预训练模型

第五讲：深度神经网络：目标分类与识别

代码示例：深度神经网络-图像识别与分类(TensorFlow, PyTorch)

• 安装TensorLayer (中文文档参见此处，此后复杂实现均推荐使用TensorLayer高级API库，同时可以结合TF-Slim与Keras)

pip install git+https://github.com/zsdonghao/tensorlayer.git

• 安装OpenCV python接口

conda install -c menpo opencv3 
或
pip install opencv-python

• 所需数据集下载：data.zip: [微云][百度云] (覆盖./05_Image_recognition_and_classification/data文件夹)  
• 所需模型下载： vgg19.npz  [微云][百度云] (放置于./05_Image_recognition_and_classification文件夹下)  
• 所需模型下载：inception_v3.ckpt [微云][百度云] (放置于./05_Image_recognition_and_classification文件夹下)

• 图像识别与分类示例教程

• VGG19图像分类模型-TensorLayer实现

• InceptionV3图像分类模型-TensorLayer结合TF-SLim实现

• Wide-ResNet网络模型-TensorLayer实现

• Class Activation Mapping (CAM)示例 (完整实现可参考此处)

第六讲：深度神经网络：目标检测与定位

代码示例：目标检测模型示例 (TensorFlow, PyTorch)

• TensorFlow Object Detection API使用示例

• 所需模型下载：ssd_mobilenet_v1_coco_11_06_2017: [微云] (解压并置于06_Object_detection/Object_Detection_Tensorflow_API_demo/object_detection/文件夹下)

• [SSD: Single Shot Multibox Detector] (TensorFlow实现, PyTorch实现)

• [YOLO, YOLOv2] (TensorFlow实现, PyTorch实现)

第七讲：深度神经网络：目标追踪与目标分割

代码示例：目标追踪与目标分割

• 目标追踪 - [GOTURN](TensorFlow实现, Plain Python实现, Original C++实现)

• 目标分割 - [FCN](TensorFlow实现, PyTorch实现)

• 目标分割 - [Mask-RCNN](TensorFlow实现, PyTorch实现)

第八讲：循环神经网络与序列模型

代码示例：循环神经网络

• 循环神经网络, RNN - [TensorFlow, Pytorch]

• 双向循环神经网络, Bidirectional-RNN - [TensorFlow, Pytorch]

• 动态循环神经网络, Dynamic-RNN - [TensorFlow]

• 自动编码器, AutoEncoder - [TensorFlow]

• 变分自动编码器, Variational AutoEncoder - [TensorFlow]

• 图片标注, Image Captioning - [TensorFlow, PyTorch]

• 视频标注, Video Captioning - [TensorFlow]

第九讲：无监督式学习与生成对抗网络

代码示例：生成对抗网络

• 生成对抗网络, GAN - [TensorFlow, PyTorch]

• 深度卷积生成对抗网络, DCGAN - [TensorFlow]

• Pix2Pix, CycleGAN - [PyTorch]

• StackGAN - [TensorFlow, PyTorch]

• GANs Model Collections - [1, 2, 3]

第十讲：强化学习

• Basic Reinforcement Learning - [basic_reinforcement_learning]

• Applied Reinfocement Learning - [applied-reinforcement-learning]

• Oreilly RL Tutorial - [oreilly-rl-tutorial]