BiLstm_CNN_CRF_CWS
BiLstm+CNN+CRF 在线演示
note: 实验基于
anaconda py3.5
tensorflow==1.0.1
keras==2.0.6
keras_contrib==2.0.8 pip install git+https://www.github.com/keras-team/keras-contrib.git
cuda==v8.0
gpu==GTX750Ti
简要介绍
- 使用 bilstm+cnn+crf训练seq2seq模型
- 预训练词向量 gensim
- 段落有的太长，按简单标点切分为句子，maxlen控制在100+,不足maxlen前面补0
- 测试也是按句子测试，最后还原成段落
- 有机会写个blog，先准备过年~新年快乐！_
step1: 法律文档+conll2012分词语料 训练word embedding
python embedding_model.py
step2: 预处理+训练+测试
-
随机抽80篇训练（10%用于验证集），20篇用于测试 实验10次，平均f-score=0.953,详见prf_result_max_epoch_50_em.txt
-
随机抽50篇训练（10%用于验证集），50篇用于测试 实验10次，平均f-score=0.933,详见prf_result_max_epoch_50_law.txt
-
用conll2012中6个领域的分词训练语料+法律文档训练语料（20篇）-> 法律80篇测试 时间问题，只测一次：f-score:0.943
-
用conll2012中6个领域的分词训练语料-> 法律100篇测试 时间问题，只测一次：f-score:0.757
New 拖了好久，终于在毕业论文交（3.26）后写了一篇分词blog（虽然也没啥技术含量，写着玩..）
simple_bilstm_model
程序写的太繁琐，简化了一下 只关心
pip install keras==2.0.6 深度学习分词算法的可以只看这个文件夹下的bilstm_cnn_crf.py程序
keras_contrib==2.0.8 pip install git+https://www.github.com/keras-team/keras-contrib.git
pip install gensim
如缺少其它模块，看报错自行安装
## note
# 把你的语料放到corpus文件夹下 我的corpus中的语料压缩了，如使用可以解压
# 1. python embedding_model.py -> model_conll_law.m 生成词向量文件
# 2. python bilstm_cnn_crf.py // is_train==1
# 会得到 train_model.hdf5 lexicon.pkl
# 3. 可以在之前的基础上train_model.hdf5，继续训练
# 4. 训练完成，测试 is_train==0
# python bilstm_cnn_crf.py 按句测试或按文件测试
# my_weights 中存放的是我的权值
关于simple_bilstm_model程序的运行，写了个讲解，详见
BiLSTM_CNN_CRF分词程序—运行讲解-简书
BiLSTM_CNN_CRF分词程序—运行讲解-知乎
simple_bilstm_model 百度网盘下载：链接：https://pan.baidu.com/s/1b0WRe16aVVILYGEBmhB9lg 密码：9tiv
不想下载全部项目的可以只下载网盘的内容。