Transformers 是由 Hugging Face 开发的一个 NLP 包,支持加载目前绝大部分的预训练模型。随着 BERT、GPT 等大规模语言模型的兴起,越来越多的公司和研究者采用 Transformers 库来构建 NLP 应用。
该项目为《Transformers 库快速入门》系列教程的代码仓库,按照以下方式组织代码:
- data:存储使用到的数据集;
- src:存储所有的任务 Demo,每个任务一个文件夹,可以下载下来单独使用。
该教程暂未包含 LLaMa 等大规模语言模型 (LLM) 的使用方法。我最近也正在系统地学习,之后会把 LLM 内容添加进来,敬请期待。
Transformers 库快速入门
-
第一部分:背景知识
- 第一章:自然语言处理
- 第二章:Transformer 模型
- 第三章:注意力机制
-
第二部分:初识 Transformers
- 第四章:开箱即用的 pipelines
- 第五章:模型与分词器
- 第六章:必要的 Pytorch 知识
- 第七章:微调预训练模型
-
第三部分:Transformers 实战
-
第四部分:大模型时代
- 第十四章:微调 FlanT5 11b
- 第十五章:指令微调 FlanT5 11b
- 第十六章:微调 Llama2 7b
- 第十七章:指令微调 Llama2 7b
Demo 一览
- pairwise_cls_similarity_afqmc:句子对分类任务,金融同义句判断。
- sequence_labeling_ner_cpd:序列标注任务,命名实体识别。
- seq2seq_translation:seq2seq任务,中英翻译。
- seq2seq_summarization:seq2seq任务,文本摘要。
- sequence_labeling_extractiveQA_cmrc:序列标注任务,抽取式问答。
- text_cls_prompt_senti_chnsenticorp:文本分类任务,Prompt 情感分析。