• Stars
    star
    528
  • Rank 83,941 (Top 2 %)
  • Language
    Jupyter Notebook
  • License
    Apache License 2.0
  • Created over 6 years ago
  • Updated almost 4 years ago

Reviews

There are no reviews yet. Be the first to send feedback to the community and the maintainers!

Repository Details

仅使用numpy从头开始实现神经网络,包括反向传播公式推导过程; numpy构建全连接层、卷积层、池化层、Flatten层;以及图像分类案例及精调网络案例等,持续更新中... ...

numpy_neuron_network

仅使用numpy从头构建神经网络, 包括如下内容(持续更新中....)

  1. 网络中梯度反向传播公式推导

  2. 层:FC层,卷积层,池化层,Flatten

  3. 激活函数: ReLU、LeakyReLU、PReLU、ELU、SELU

  4. 损失函数:均方差、交叉熵

  5. 模型的保存、部署

  6. 案例学习:线性回归、图像分类

  7. 迁移学习、模型精调

  8. 进阶:RNN、LSTM、GRU、BN

[TOC]

运行工程

环境:python 3.6.x

依赖:numpy>=1.15.0、Cython、jupyter

a) 下载

git clone https://github.com/yizt/numpy_neuron_network

b) 编译nn/clayers.pyx

cd numpy_neuron_network
python setup.py build_ext -i

c) 启动工程,所有的notebook都可以直接运行

jupyter notebook --allow-root --ip 0.0.0.0

基础知识

0_1-全连接层、损失函数的反向传播csdn地址

0_2_1-卷积层的反向传播-单通道、无padding、步长1csdn地址

0_2_2-卷积层的反向传播-多通道、无padding、步长1csdn地址

0_2_3-卷积层的反向传播-多通道、无padding、步长不为1csdn地址

0_2_4-卷积层的反向传播-多通道、有padding、步长不为1csdn地址

0_2_5-池化层的反向传播-MaxPooling、AveragePooling、GlobalAveragePooling、GlobalMaxPoolingcsdn地址

0_3-激活函数的反向传播-ReLU、LeakyReLU、PReLU、ELU、SELUcsdn地址

0_4-优化方法-SGD、AdaGrad、RMSProp、Adadelta、Adamcsdn地址

DNN练习

1_1_1-全连接神经网络做线性回归csdn地址

1_1_2-全连接神经网络做mnist手写数字识别csdn地址

CNN练习

2_1-numpy卷积层实现csdn地址

2_2-numpy池化层实现csdn地址

2_3-numpy-cnn-mnist手写数字识别csdn地址

2_4-对抗神经网络 、csdn地址

经典网络

3_1-VGG

进阶

5-1-RNN反向传播

5-2-LSTM反向传播

5-3-GRU反向传播

5-4-RNN、LSTM、GRU实现

5-5-案例-lstm连续文字识别

6-1-Batch Normalization反向传播

6-2-Batch Normalization实现

More Repositories

1

cv-papers

计算机视觉相关论文整理、记录、分享; 包括图像分类、目标检测、视觉跟踪/目标跟踪、人脸识别/人脸验证、OCR/场景文本检测及识别等领域。欢迎加星,欢迎指正错误,同时也期待能够共同参与!!! 持续更新中... ...
978
star
2

Grad-CAM.pytorch

pytorch实现Grad-CAM和Grad-CAM++,可以可视化任意分类网络的Class Activation Map (CAM)图,包括自定义的网络;同时也实现了目标检测faster r-cnn和retinanet两个网络的CAM图;欢迎试用、关注并反馈问题...
Python
726
star
3

crnn.pytorch

crnn实现水平和垂直方向中文文字识别, 提供在3w多个中文字符训练的水平识别和垂直识别的预训练模型; 欢迎关注,试用和反馈问题... ...
Python
241
star
4

keras-ctpn

keras复现场景文本检测网络CPTN: 《Detecting Text in Natural Image with Connectionist Text Proposal Network》;欢迎试用,关注,并反馈问题...
Python
107
star
5

keras-faster-rcnn

keras实现faster rcnn,end2end训练、预测; 持续更新中,见todo... ;欢迎试用、关注并反馈问题
Python
86
star
6

aiia_elec_miner

“AIIA”杯-国家电网-电力专业领域词汇挖掘
Scala
54
star
7

keras-lbl-IvS

keras实现人证比对论文《Large-scale Bisample Learning on ID vs. Spot Face Recognition》的核心思想; 当类别数非常大时(超过百万),GPU显存可能无法装载权重参数;可以使用支配原型概念,每个step将相关的类别一块训练,step开始时将当前mini-batch的类别原型权重加载到GPU中,而不用加载所有的类别权重参数; step结束时更新并保存当前训练类别的原型权重
Jupyter Notebook
22
star
8

keras-imprinting

论文Low-Shot Learning with Imprinted Weights 的keras 版简要实现;
Jupyter Notebook
15
star
9

abcnet_custom_dataset

ABCNet标注格式数据集制作,将ICDAR15转为ABCNet标注格式
Python
10
star
10

notebook

整理记录工作学习笔记,以前都用evernote记录,现在都迁移到github上,方便共享
Jupyter Notebook
9
star
11

spark-mllib-pmml

Scala
6
star
12

shell_parser

一个通用的命令行脚本管理工具,包括参数管理、shell脚本解析、通用脚本执行和日志记录;欢迎试用和反馈问题...
Python
4
star
13

ace.pytorch

非官方的Aggregation Cross-Entropy for Sequence Recognition实现
Python
3
star
14

easyml-examples

Scala
2
star
15

cars-analyze

Scala
1
star
16

cv_repositories_test

计算机视觉开源工程测试记录
1
star
17

es-cars

Java
1
star
18

sqlCfg

sqlCfg
Java
1
star
19

keras-east

Python
1
star
20

keras-ssd

Jupyter Notebook
1
star
21

docs

1
star