从零构建AI推理引擎系列
引言: 现在有很多开源推理引擎，也有很多同学做模型部署相关工作，但大部分仅仅停留在“用工具”的层面。假如你想掌握技术的本源，停留在用工具层面是远远不够的。
我将最近业余玩耍的自建AI推理引擎相关博客文章整理成一个索引，里面记录了一些我在建造过程中踩过的坑，以及一些关于 C++语言、框架架构、算子推理设计、用户体验设计 的一些实践和思考，希望对大家有用。
AI已经到了一个非常成熟的阶段，我们要做的，不仅仅是 python train.py，我们要做的是更进一步的将AI推延到工业领域，而这离不开一个好用的推理引擎。但仅停留在用开源的工具未免有些浅显，比如 有社区同学就问我MNN编译的库体积较大如何解决？有人问题我为什么某些框架的layernorm很慢等等，如果你深入知道它背后的实现原理，这些问题自然就知道答案了。
这个仓库持续更新中，如果你对 AI部署落地，AI算法应用感兴趣，可以搜索微信公众号关注一波： 神力人工智能 。不定期分享一些技术干货。
动态
本系列一直在更新中，一直没有停更，简单动态记录：
2022.09.08 : 忙于模型优化，暂时停了一段时间，下次将使wnnx能够推理自研的YOLO系列目标检测模型；
索引
1. 基础进阶
- 为什么要构建推理引擎
- 推理框架实现123
- WNNX从0实现AI推理引擎（一）
- WNNX从0实现AI推理引擎（二）
- WNNX从0实现AI推理引擎（三）
- WNNX从0实现AI推理引擎（四）
- WNNX从0实现AI推理引擎（五）
- WNNX从0实现AI推理引擎（六）
- WNNX从0实现AI推理引擎（七）
- WNNX从0实现AI推理引擎（八）
- WNNX从0实现AI推理引擎（九）
2. 花式玩法
3. 骨灰级
4. 外延（产品经理用)
版权
All rights reserved by Lucas Jin @ 2022.