深入浅出PyTorch

在线阅读地址：https://datawhalechina.github.io/thorough-pytorch/

配套视频教程：https://www.bilibili.com/video/BV1L44y1472Z

一、项目初衷

PyTorch是利用深度学习进行数据科学研究的重要工具，在灵活性、可读性和性能上都具备相当的优势，近年来已成为学术界实现深度学习算法最常用的框架。

考虑到PyTorch的学习兼具理论储备和动手训练，两手都要抓两手都要硬的特点，我们开发了《深入浅出PyTorch》课程，期望以组队学习的形式，帮助大家从入门到熟练掌握PyTorch工具，进而实现自己的深度学习算法。

我们的愿景是：通过组队学习，大家能够掌握由浅入深地PyTorch的基本知识和内容，经过自己的动手实践加深操作的熟练度。同时通过项目实战，充分锻炼编程能力，掌握PyTorch进行深度学习的基本流程，提升解决实际问题的能力。

学习的先修要求是，会使用Python编程，了解包括神经网络在内的机器学习算法，勤于动手实践。

《深入浅出PyTorch》是一个系列，一共有三个部分。已经上线的是本系列的第一、二部分，后续会不断更新《深入浅出PyTorch》（下），给出更贴合实际应用的实战案例。

二、内容简介

• 第零章：前置知识（选学）
  • 人工智能简史
  • 相关评价指标
  • 常用包的学习
  • Jupyter相关操作
• 第一章：PyTorch的简介和安装
  • PyTorch简介
  • PyTorch的安装
  • PyTorch相关资源简介
• 第二章：PyTorch基础知识
  • 张量及其运算
  • 自动求导简介
  • 并行计算、CUDA和cuDNN简介
• 第三章：PyTorch的主要组成模块
  • 思考：完成一套深度学习流程需要哪些关键环节
  • 基本配置
  • 数据读入
  • 模型构建
  • 损失函数
  • 优化器
  • 训练和评估
  • 可视化
• 第四章：PyTorch基础实战
  • 基础实战——Fashion-MNIST时装分类
  • 基础实战——果蔬分类实战（notebook）
• 第五章：PyTorch模型定义
  • 模型定义方式
  • 利用模型块快速搭建复杂网络
  • 模型修改
  • 模型保存与读取
• 第六章：PyTorch进阶训练技巧
  • 自定义损失函数
  • 动态调整学习率
  • 模型微调-torchvision
  • 模型微调-timm
  • 半精度训练
  • 数据扩充
  • 超参数的修改及保存
  • PyTorch模型定义与进阶训练技巧
• 第七章：PyTorch可视化
  • 可视化网络结构
  • 可视化CNN卷积层
  • 使用TensorBoard可视化训练过程
  • 使用wandb可视化训练过程
• 第八章：PyTorch生态简介
  • 简介
  • 图像—torchvision
  • 视频—PyTorchVideo
  • 文本—torchtext
  • 音频-torchaudio
• 第九章：模型部署
  • 使用ONNX进行部署并推理
• 第十章：常见网络代码的解读(推进中)
  • 计算机视觉
    • 图像分类
      • ResNet源码解读
      • Swin Transformer源码解读
      • Vision Transformer源码解读
      • RNN源码解读
      • LSTM源码解读及其实战
    • 目标检测
      • YOLO系列解读（与MMYOLO合作）
    • 图像分割
  • 自然语言处理
    • RNN源码解读
  • 音频处理
  • 视频处理
  • 其他

三、人员安排

教程贡献情况（已上线课程内容）：

李嘉骐：第三章；第四章；第五章；第六章；第七章；第八章；内容整合

牛志康：第一章；第三章；第六章；第七章；第八章，第九章，第十章；文档部署

刘洋：第二章；第三章

陈安东：第二章；第三章；第七章

四、 课程编排与配套视频

五、关于贡献

# fork
# clone
git clone [email protected]:USERNAME/thorough-pytorch.git
# set upstream
git remote add upstream [email protected]:datawhalechina/thorough-pytorch.git
# disable upstream push
git remote set-url --push upstream DISABLE
# verify
git remote -v
# some sample output:
# origin	[email protected]:NoFish-528/thorough-pytorch.git (fetch)
# origin	[email protected]:NoFish-528/thorough-pytorch.git (push)
# upstream	[email protected]:datawhalechina/thorough-pytorch.git (fetch)
# upstream	DISABLE (push)
# do your work
git checkout -b lecture07
# edit and commit and push your changes
git push -u origin lecture07
# keep your fork up to date
## fetch upstream main and merge with forked main branch
git fetch upstream
git checkout main
git merge upstream/main
## rebase brach and force push
git checkout lecture07
git rebase main
git push -f

<type>: <short summary>
  │            │
  │            └─⫸ Summary in present tense. Not capitalized. No period at the end.
  │
  └─⫸ Commit Type: [docs #NO]:others

六、更新计划

七、鸣谢与反馈

• 非常感谢DataWhale成员 叶前坤 @PureBuckwheat 和 胡锐锋 @Relph1119 对文档的细致校对！
• 如果有任何想法可以联系我们DataWhale也欢迎大家多多提出issue。
• 特别感谢以下为教程做出贡献的同学！并特别感谢MMYOLO的贡献者们！

Made with contrib.rocks.

八、关注我们

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。