BERT和ALBERT在下游任务中的应用
本项目提供了易用的训练模式和预测模式，可以直接部署。也容易扩展到任何下游任务中
albert_task和bert_task文件夹中的内容基本一致
- albert_task/albert是albert的源码
- albert_task/albert_model中包含了四种albert的模型：albert_tiny, albert_base, albert_large, albert_xlarge
- bert_task/bert是bert的源码
- bert_task/bert_model中包含了中文bert模型
- 需要下载albert的预训练模型放置在albert_task下，bert的预训练模型放置在bert_task下
- 预训练模型的路径可以在xxx_config.json文件中配置
目前提供了5大类的任务，classifier，sentence pair，ner，learning to rank(pair wise)，machine reading。基准数据集来自chineseGLUE
- classifier包括tnews，inews，thucnews
- sentence pair包括bq，lcqmc，xnli
- ner包括msraner
- learning to rank(pair wise)是biendata上 基于Adversarial Attack的问题等价性判别比赛
- machine reading包括cmrc2018
每个任务下的结构基本一致
- config：放置每个具体任务的配置文件，包括训练参数，数据路径，模型存储路径
- data_helper.py：数据预处理文件
- metrics.py：性能指标文件
- model.py：模型文件，可以很容易的实现bert和下游网络层的结合
- trainer.py：训练模型
- predict.py：预测代码，只需要实例化Predictor类，调用predict方法就可以预测
训练数据格式
文本分类数据格式
- title <SEP> content <SEP> label：有的数据中含有标题，有的只有正文，标题，正文，标签之间用<SEP>符号分隔。
句子对数据格式
- sentence A<SEP>sentence B<SEP>label：同样对于两个句子和标签采用<SEP>符号分隔。
ner数据格式
我们采用了BIO的格式标注，也可以采用BIOS, BIEO, BIEOS标注，将输入中的词和标注都用\t分隔。
- 慕 名 前 来 品 尝 玉 峰 茶 ， 领 略 茶 文 化 的 人 越 来 越 多 。<SEP>o o o o o o B-ns I-ns o o o o o o o o o o o o o o
阅读理解数据格式
- context：抽取式阅读理解的上下文
- question：问题
- answer：答案，从context中抽取一个片段
- start_position: answer的起始位置
- end_position: answer的终止位置
learning_to_rank
- point wise：随机采样正样本对和负样本对组成一个样本对的分类问题，和句子对数据格式一致。
- pair wise：给定一个query，抽取一个和query相似的正样本，抽取若干个和query不相似的负样本。
训练模型
- 执行每个任务下的sh脚本即可，sh run.sh。只需要更改配置文件就可以训练不同的模型
预测
- 执行albert_task中每个任务下的test.py文件就可以预测，bert_task同albert_task。