Awesome Pretrained Chinese NLP Models

在自然语言处理领域中，预训练语言模型（Pretrained Language Models）已成为非常重要的基础技术，本仓库主要收集目前网上公开的一些高质量中文预训练模型、中文多模态模型、中文大语言模型等内容(感谢分享资源的大佬)，并将持续更新......

Expand Table of Contents

• 更新日志

• 基础大模型

• 对话大模型

• 多模态对话大模型

• 大模型评估基准

• 在线体验大模型

• 开源模型库平台

• 开源数据集库

• 开源中文指令数据集

• Other-Awesome

• NLU系列

  • BERT
  • RoBERTa
  • ALBERT
  • NEZHA
  • XLNET
  • MacBERT
  • WoBERT
  • ELECTRA
  • ZEN
  • ERNIE
  • ERNIE3
  • RoFormer
  • StructBERT
  • Lattice-BERT
  • Mengzi-BERT
  • ChineseBERT
  • TaCL
  • MC-BERT
  • 二郎神
  • PERT
  • MobileBERT
  • GAU-α
  • DeBERTa
  • GlyphBERT
  • CKBERT
  • LERT
  • RoCBert
  • m3e
  • LEALLA

• NLG系列

  • GPT
  • GPT-3
  • NEZHA-GEN
  • CPM-Generate
  • T5
  • T5-PEGASUS
  • Mengzi-T5
  • 盘古α
  • EVA
  • BART
  • 闻仲
  • 余元
  • RWKV
  • Bloom
  • PromptCLUE
  • ChatYuan
  • SkyText
  • ProphetNet

• NLU-NLG系列

  • UniLM
  • Simbert
  • RoFormer-sim
  • CPM-2
  • CPT
  • 周文王
  • GLM
  • PLUG
  • OPD
• Multi-Modal

  • WenLan
  • CogView
  • 紫东太初
  • Mengzi-oscar
  • R2D2
  • Chinese-CLIP
  • TaiYi-CLIP
  • AltCLIP
  • AltDiffusion
  • Taiyi-Stable-Diffusion
  • wukong
  • OFA
  • QA-CLIP

• Table

  • SDCUP

LLM

大规模基础模型：表格中只罗列出参数量大于7B以上模型。

ND: Non-Causal Decoder or Prefix LM

CD: Causal Decoder

ED: Encoder-Decoder

模型	大小	时间	语言	领域	下载	项目地址	机构/个人	架构	文献	备注
Aquila-Base-33B	33B	2023-08	中英	通用	TODO	Aquila	FlagAI	CD
Chinese-LLaMA-2	13B	2023-08	中英	通用	ckpt	Chinese-LLaMA-Alpaca-2	Yiming Cui	CD
TigerBot-Base-13B	13B	2023-08	多语	通用	ckpt	TigerBot	虎博科技	CD
通义千问-base	7B	2023-08	中英	通用	ckpt	Qwen-7B	阿里云	CD	Report
Linly-Chinese-LLaMA-2	7/13B	2023-07	中英	通用	ckpt-7B ckpt-13B	Linly	深圳大学计算机视觉研究所	CD
Chinese-LLaMA-2	7B	2023-07	中英	通用	ckpt	Chinese-LLaMA-Alpaca-2	Yiming Cui	CD
Jiang-base	13B	2023-07	中文	通用	ckpt	/	知未智能	CD
bwx	7/13B	2023-07	中文	通用	ckpt-7B ckpt-13B	/	蓝鲸国数	CD
Llama2	7/13/70B	2023-07	多语	通用	ckpt-7B ckpt-13B ckpt-70B	llama	Meta	CD	Paper
PolyLM	13B	2023-07	多语	通用	ckpt	PolyLM	达摩院	CD	Paper
Baichuan-13B	13B	2023-07	中文	通用	ckpt	Baichuan-13B	百川智能	CD
TigerBot	7B	2023-07	多语	通用	ckpt	TigerBot	虎博科技	CD
书生·浦语-lm	7B	2023-07	中文	通用	ckpt	InternLM	上海人工智能实验室	CD	InternLM-techreport
MPT	7/30B	2023-06	多语	通用	ckpt-7B ckpt-30B	llm-foundry	MosaicML	CD
educhat-base-002	7/13B	2023-06	中英	教育	ckpt-13B ckpt-7B	EduChat	华东师范大学	CD
Baichuan	7B	2023-06	中英	通用	ckpt	baichuan-7B	百川智能	CD
Chinese-Falcon	7B	2023-06	中英	通用	ckpt	Linly	深圳大学计算机视觉研究所	CD	Blog
AtomGPT	13B	2023-06	中英	通用	ckpt	AtomGPT	原子回声	CD
AquilaCode-NV	7B	2023-06	中英	代码	ckpt	Aquila	FlagAI	CD
AquilaCode-TS	7B	2023-06	中英	代码	ckpt	Aquila	FlagAI	CD
Aquila	7B	2023-06	中英	通用	ckpt	Aquila	FlagAI	CD
Chinese-LLaMA	33B	2023-06	中英	通用	ckpt	Chinese-LLaMA-Alpaca	Yiming Cui	CD
TigerBot	7B	2023-06	多语	通用	ckpt	TigerBot	虎博科技	CD
Panda-OpenLLaMA	7B	2023-05	中英	通用	ckpt	pandallm	dandelionsllm	CD
Panda	7/13B	2023-05	中英	通用	ckpt-13B ckpt-7B	pandallm	dandelionsllm	CD
OpenLLaMA	13B	2023-05	中英	通用	ckpt	Linly	深圳大学计算机视觉研究所	CD
LaWGPT	7B	2023-05	中英	法律	ckpt	LawGPT	Pengxiao Song	CD
BiLLa-LLM	7B	2023-05	中英	通用	ckpt	BiLLa	Zhongli Li	CD
Ziya-LLaMA-Reward	7B	2023-05	中英	通用	ckpt	Fengshenbang-LM	IDEA研究院	CD
YuYan	11B	2023-04	中文	通用	ckpt	/	网易伏羲	CD	Paper
Chinese-LLaMA	33B	2023-04	中文	通用	ckpt	Linly	深圳大学计算机视觉研究所	CD	Blog
Chinese-LLaMA	13B	2023-04	中文	通用	ckpt	Linly	深圳大学计算机视觉研究所	CD	Blog
Chinese-LLaMA	7B	2023-04	中文	通用	ckpt	Linly	深圳大学计算机视觉研究所	CD	Blog
OpenChineseLLaMA	7B	2023-04	中英	通用	ckpt	OpenChineseLLaMA	OpenLMLab	CD
MOSS-003	16B	2023-04	中英	通用	ckpt	MOSS	复旦大学	CD
BBT-2-Text	13B	2023-04	中文	通用	申请下载	BBT-FinCUGE-Applications	超对称	CD	Paper
BBT-2-12B-Text	12B	2023-04	中文	通用	申请下载	BBT-FinCUGE-Applications	超对称	CD	Paper
Chinese-LLaMA	13B	2023-04	中英	通用	ckpt	Chinese-LLaMA-Alpaca	Yiming Cui	CD
flan-ul2	20B	2023-03	多语	通用	ckpt	ul2	Google	ED	Paper
CPM-Bee	10B	2023-01	中英	通用	ckpt-10B ckpt-5B	CPM-Bee	OpenBMB	CD
BLOOM	176B	2022-11	多语	通用	ckpt-95000	Megatron-DeepSpeed	BigScience	CD	Paper
BLOOMZ	176B	2022-11	多语	通用	ckpt-498	Megatron-DeepSpeed	BigScience	CD	Paper
flan-t5-xxl	11B	2022-11	多语	通用	ckpt	t5x	Google	ED	paper
CPM-Ant+	10B	2022-10	中英	通用	ckpt	CPM-Live	OpenBMB	CD	blog
GLM	130B	2022-10	中英	通用	申请下载	GLM-130B	清华大学	ND	paper
CPM-Ant	10B	2022-09	中文	通用	ckpt	CPM-Live	OpenBMB	CD	blog
GLM	10B	2022-09	中文	通用	ckpt	GLM	清华大学	ND	paper
CodeGeeX	13B	2022-06	多语	代码	申请下载	CodeGeeX	清华大学	CD	blog
源1.0	245B	2021-09	中文	通用	API申请	Yian-1.0	浪潮	CD	paper
CPM-2	11B	2021-06	中文	通用	申请下载	CPM	智源研究院	ED	paper
CPM-2	10B	2021-06	中英	通用	申请下载	CPM	智源研究院	ED	paper
CPM-2	200B	2021-06	中英	通用	申请下载	CPM	智源研究院	ED	paper
PanGu-Alpha	13B	2021-05	中文	通用	ckpt	PanGu-Alpha	鹏城实验室	CD	paper
PanGu-Alpha	200B	2021-05	中文	通用	待发布	PanGu-Alpha	鹏城实验室	CD	paper
PLUG	27B	2021-04	中文	通用	申请下载	AliceMind	阿里巴巴	ED
GPT-3	13B	2021-04	中文	通用	待发布	GPT-3	达摩院	CD
GPT-3	30B	2021-04	中文	通用	待发布	GPT-3	达摩院	CD

[Back to Top]

ChatLLM

具备问答和对话等功能的大型语言模型。

ND: Non-Causal Decoder or Prefix LM

CD: Causal Decoder

ED: Encoder-Decoder

模型	大小	时间	语言	领域	下载	项目地址	机构/个人	架构	文献
智海-录问	7B	2023-08	中文	法律	ckpt	wisdomInterrogatory	zhihaiLLM	CD
WizardMath-V1.0	7/13/70B	2023-08	多语	数学	ckpt-7B ckpt-13B ckpt-70B	WizardLM	operatorx	CD
Aquila-Chat-33B	33B	2023-08	中英	通用	TODO	Aquila	FlagAI	CD
vicuna-V1.5-16K	7/13B	2023-08	多语	通用	ckpt-7B-16K ckpt-13B-16K	FastChat	lm-sys	CD	Paper
vicuna-V1.5	7/13B	2023-08	多语	通用	ckpt-7B ckpt-13B	FastChat	lm-sys	CD	Paper
Chinese-Alpaca-2	13B	2023-08	中英	通用	ckpt	Chinese-LLaMA-Alpaca-2	Yiming Cui	CD
WizardLM-V1.0	70B	2023-08	多语	通用	ckpt	WizardLM	operatorx	CD
QiaoBan	7B	2023-08	中文	儿童情感	ckpt	QiaoBen	哈尔滨工业大学
HuangDi	13B	2023-08	中文	中医	ckpt	HuangDI	Zlasejd	CD
ZhongJing		2023-08	中文	中医	TODO	CMLM-ZhongJing	复旦大学
TCMLLM	6B	2023-08	中文	中医	ckpt	TCMLLM	2020MEAI	ND
TigerBot-chat-13B	13B	2023-07	中英	通用	ckpt	TigerBot	虎博科技	CD
XVERSE	13B	2023-08	多语	通用	ckpt	XVERSE-13B	元象科技	CD
huozi	7B	2023-08	中英	通用	ckpt-sft ckpt-rlhf	huozi	哈工大	CD
通义千问-chat	7B	2023-08	中英	通用	ckpt	Qwen-7B	阿里云	CD	Report
Chinese-Alpaca-2	7B	2023-07	中英	通用	ckpt	Chinese-LLaMA-Alpaca-2	Yiming Cui	CD
AntX	7/13B	2023-07	中文	通用	ckpt-7B ckpt-13B	/	AntX.ai	CD
AutoAudit	7B	2023-07	中文	网络安全	ckpt	AutoAudit	Jiaying Li	CD
Lychee	10B	2023-07	中文	法律	ckpt	lychee_law	davidpig	ND
IvyGPT	6B	2023-07	中文	医学	ckpt	IvyGPT	WangRongsheng
MING	7B	2023-07	中文	医学	ckpt	MING	上海交通大学	CD
BatGPT	15B	2023-07	中英	通用	ckpt	BatGPT	上海交通大学	ND	Paper
Mozi	7B	2023-07	中英	科技	ckpt	science-llm	GMFTBY	CD
StarGLM	6B	2023-07	中文	天文	ckpt	StarGLM	LI YUYANG	ND
WizardLM-V1.2	13B	2023-07	多语	通用	ckpt-13B	WizardLM	operatorx	CD	Paper
TransGPT	7B	2023-07	中英	交通	ckpt	TransGPT	北京交通大学	CD
llama2-Chinese-chat	13B	2023-07	中英	通用	ckpt	llama2-Chinese-chat	Ke Bai	CD
CodeGeeX2	6B	2023-07	中英	代码	ckpt	CodeGeeX2	清华大学	ND
Jiang-chat	13B	2023-07	中文	通用	ckpt	/	知未智能	CD
Llama2-chinese-chat	7/13B	2023-07	中英	通用	ckpt-7B ckpt-13B	Llama2-Chinese	FlagAlpha	CD
LL7M	7B	2023-07	多语	通用	ckpt	/	Joseph Cheung	CD
Yayi-llama2	7/13B	2023-07	中英	安全、舆情等	ckpt-7B ckpt-13B	Yayi	中科闻歌	CD
Chinese-Llama-2	7B	2023-07	中英	通用	ckpt	Chinese-Llama-2-7b	LinkSoul-AI	CD
Llama2-chat	7/13/70B	2023-07	多语	通用	ckpt-7B ckpt-13B ckpt-70B	llama	Meta	CD	Paper
Ziya-Writing	13B	2023-07	中英	写作	ckpt	Fengshenbang-LM	IDEA研究院	CD
PolyLM-chat	13B	2023-07	多语	通用	ckpt	PolyLM	达摩院	CD	Paper
MindChat	13B	2023-07	中文	心理	ckpt	MindChat	华东理工大学	CD
Baichuan-13B-chat	13B	2023-07	中文	通用	ckpt	Baichuan-13B	百川智能	CD
vicuna-V1.3	7/13/33B	2023-07	多语	通用	ckpt-7B ckpt-13B ckpt-33B	FastChat	lm-sys	CD	Paper
WizardLM-V1.0	7/13/30B	2023-07	多语	通用	ckpt-7B ckpt-13B ckpt-30B	WizardLM	operatorx	CD	Paper
WizardCoder-V1.0	15B	2023-07	多语	代码	ckpt-15B	WizardLM	operatorx	CD	Paper
TigerBot-v2-sft	7B	2023-07	多语	通用	ckpt	TigerBot	虎博科技	CD
书生·浦语-chat	7B	2023-07	中文	通用	ckpt	InternLM	上海人工智能实验室	CD	InternLM-techreport
ShenNong-TCM-LLM	7B	2023-07	中英	医学	ckpt	ShenNong-TCM-LLM	michael-wzhu	CD
vicuna汉化版	33B	2023-07	中文	通用	bdNet-hiks	chinese-StableVicuna	ziwang-com	CD
CuteGPT	13B	2023-07	中英	通用	ckpt	CuteGPT	复旦大学知识工场	CD
ailawyer	13B	2023-07	中英	法律	ckpt	JurisLMs	openkg	CD
MPT-chat	7/30B	2023-06	多语	通用	ckpt-7B ckpt-30B	llm-foundry	MosaicML	CD
educhat-sft-002	7B/13B	2023-06	中英	教育	ckpt-13B ckpt-7B	EduChat	华东师范大学	CD
Sunsimiao	7B	2023-06	中英	医学	ckpt	Sunsimiao	华东理工大学	CD
Media LLaMA	7B	2023-06	中文	自媒体	ckpt-onfo	Media-LLaMA	智媒开源研究院	CD
PULSE	7/14B	2023-06	中文	医学	ckpt-7B ckpt-14B	PULSE	OpenMEDLab	CD
ChatLaw	13/33B	2023-06	中文	法律	ckpt-13B ckpt-33B	ChatLaw	北京大学	CD
BaoLuo	6B	2023-06	中文	法律	ckpt	BaoLuo-LawAssisant	LeiZi	ND
CoLLaMA	7B	2023-06	中英	代码	ckpt	CoLLaMA	Denilah	CD
ChatGLM2	6B	2023-06	中英	通用	ckpt	ChatGLM2-6B	清华大学	ND
TechGPT	7B	2023-06	中英	教育	ckpt	TechGPT	东北大学	CD
Yayi	7B	2023-06	中英	安全、舆情等	ckpt	Yayi	中科闻歌	CD
BayLing	7/13B	2023-06	中英	通用	ckpt-13B ckpt-7B	BayLing	中国科学院	CD
MeChat	6B	2023-06	中文	医学	ckpt	smile	qiuhuachuan	ND
ziya-medical	13b	2023-06	中英	医学	ckpt	MedicalGPT	Ming Xu	CD
ZhiXi-Diff	13B	2023-06	中英	通用	ckpt	KnowLLM	浙江大学	CD
Anima	33B	2023-06	中文	通用	ckpt	Anima	Gavin Li	CD
OpenLLaMA-Chinese	13B	2023-06	中文	通用	ckpt	OpenLLaMA-Chinese	FittenTech	CD
OpenLLaMA-Chinese	3B	2023-06	中文	通用	ckpt	OpenLLaMA-Chinese	FittenTech	CD
OpenLLaMA-Chinese	7B	2023-06	中文	通用	ckpt	OpenLLaMA-Chinese	FittenTech	CD
Taoli	7B	2023-06	中英	教育	待开源	taoli	北京语言大学	CD
Lawyer-llama	13B	2023-06	中英	法律	ckpt	lawyer-llama	Quzhe Huang	CD
QiZhen-CaMA	13B	2023-06	中英	医学	ckpt-3600 ckpt-6000	QiZhenGPT	浙江大学	CD
扁鹊-2.0	6B	2023-06	中文	医学	ckpt	BianQue	华南理工大学	ND
SoulChat	6B	2023-06	中文	心理	ckpt	SoulChat	华南理工大学	ND
openbuddy-falcon-7b-v1.5	7B	2023-06	多语	通用	ckpt	OpenBuddy	OpenBuddy	CD
AtomGPT_chat	13B	2023-06	中英	通用	ckpt-8k	AtomGPT	原子回声	CD
AquilaChat	7B	2023-06	中英	通用	ckpt	Aquila	FlagAI	CD
YuLan-Chat	65B	2023-06	中英	通用	lora-ckpt	YuLan-Chat	中国人民大学	CD
YuLan-Chat	13B	2023-06	中英	通用	lora-ckpt	YuLan-Chat	中国人民大学	CD
Chinese-Alpaca	33B	2023-06	中文	通用	lora-ckpt	Chinese-LLaMA-Alpaca	Yiming Cui	CD
TigerBot-sft	180B	2023-06	多语	通用	ckpt	TigerBot	虎博科技	CD
TigerBot-sft	7B	2023-06	多语	通用	ckpt	TigerBot	虎博科技	CD
ChatYuan	7B	2023-06	中英	通用	ckpt	ChatYuan-7B	ClueAI	CD
HanFei	7B	2023-05	中文	法律	bd-d6t5	HanFei	中国科学院深圳先进院	CD
Panda-Instruct	13B	2023-05	中英	通用	ckpt	pandallm	dandelionsllm	CD
Panda-Instruct	7B	2023-05	中英	通用	ckpt	pandallm	dandelionsllm	CD
BiLLa-SFT	7B	2023-05	中英	通用	ckpt	BiLLa	Zhongli Li	CD
QiZhen-ChatGLM	6B	2023-05	中英	医学	ckpt-2500	QiZhenGPT	浙江大学	CD
QiZhen-Chinese-LLaMA	7B	2023-05	中英	医学	ckpt-3500 ckpt-6000	QiZhenGPT	浙江大学	CD
ChatMed-Consult	7B	2023-05	中英	医学	ckpt	ChatMed	michael-wzhu	CD
LaWGPT-beta1.1	7B	2023-05	中英	法律	ckpt	LawGPT	Pengxiao Song	CD
LaWGPT-beta1.0	7B	2023-05	中英	法律	ckpt	LawGPT	Pengxiao Song	CD
Cornucopia	7B	2023-05	中英	金融	ckpt-linly-llama	Cornucopia-LLaMA-Fin-Chinese	yuyangmu	CD
Cornucopia	7B	2023-05	中英	金融	ckpt-ori-fb	Cornucopia-LLaMA-Fin-Chinese	yuyangmu	CD
HuatuoGPT	7B	2023-05	中文	医学	ckpt	HuatuoGPT	香港中文大学	CD	Paper
LexiLaw	6B	2023-05	中文	法律	ckpt	LexiLaw	Haitao Li	ND	Paper
XuanYuan	176B	2023-05	中文	金融	申请下载	XuanYuan	度小满	CD	Paper
Ziya-LLaMA-v1	13B	2023-05	中英	通用	ckpt	Fengshenbang-LM	IDEA研究院	CD	Blog
BLOOMChat V1.0	176B	2023-05	多语	通用	ckpt	bloomchat	SambaNova Systems	CD	Blog
BiLLa	7B	2023-05	中英	通用	ckpt	BiLLa	Zhongli Li	CD
Bactrian-X	13B	2023-05	多语	通用	lora-ckpt	bactrian-x	MBZUAI	CD
Bactrian-X	7B	2023-05	多语	通用	lora-ckpt	bactrian-x	MBZUAI	CD
Bactrian-ZH	7B	2023-05	中文	通用	lora-ckpt	bactrian-x	MBZUAI	CD
LawGPT	6B	2023-05	中文	法律	lora-ckpt	LAW-GPT	hongchengliu	N
ChatFlow	13B	2023-05	中英	通用	ckpt	Linly	深圳大学计算机视觉研究所	CD
ChatFlow	7B	2023-05	中英	通用	ckpt	Linly	深圳大学计算机视觉研究所	CD
OpenBuddy	7B	2023-05	多语	通用	ckpt	OpenBuddy	OpenBuddy	CD
OpenBuddy	13B	2023-05	多语	通用	ckpt	OpenBuddy	OpenBuddy	CD
YuYan-dialogue	11B	2023-04	中文	通用	ckpt	/	网易伏羲	CD	paper
扁鹊-1.0	0.7B	2023-04	中文	医学	ckpt	BianQue	scutcyr	ED
Moss-moon-003-sft-plugin	16B	2023-04	中英	通用	ckpt	MOSS	复旦大学	CD
moss-moon-003-sft	16B	2023-04	中英	通用	ckpt	MOSS	复旦大学	CD
RWKV-4-Raven	3/7/14B	2023-04	中英	通用	ckpt	ChatRWKV	BlinkDL	RNN	Blog
Phoenix-inst-chat	7B	2023-04	中文	通用	ckpt	LLMZoo	香港中文大学	CD
Phoenix-chat	7B	2023-04	中文	通用	ckpt	LLMZoo	香港中文大学	CD
ChatPLUG	3.7B	2023-04	中文	通用	ckpt	ChatPLUG	阿里巴巴	ED	Paper
ChatPLUG	240M	2023-04	中文	通用	ckpt	ChatPLUG	阿里巴巴	ED	Paper
ChatGLM-Med	6B	2023-04	中文	医学	ckpt	Med-ChatGLM	哈尔滨工业大学	ED
BenTsao	7B	2023-04	中文	医学	lora-ckpt	Huatuo-Llama-Med-Chinese	哈尔滨工业大学	CD
DoctorGLM	6B	2023-04	中文	医学	待更新	DoctorGLM	xionghonglin	ND
Firefly	7B	2023-04	中文	文化	ckpt	Firefly	Yang JianXin	CD
Firefly	2B	2023-04	中文	文化	ckpt	Firefly	Yang JianXin	CD
firefly	1B	2023-04	中文	文化	ckpt	Firefly	Yang JianXin	CD
Chinese-Alpaca	13B	2023-04	中文	通用	lora-ckpt	Chinese-LLaMA-Alpaca	Yiming Cui	CD
BELLE-LLAMA	13B	2023-04	中文	通用	ckpt	BELLE	贝壳	CD
LLaMA-tuned	65B	2023-04	中文	通用	待更新	LMFlow	香港科技大学	CD
LLaMA-tuned	33B	2023-04	中文	通用	ckpt	LMFlow	香港科技大学	CD
LLaMA-tuned	13B	2023-04	中文	通用	ckpt	LMFlow	香港科技大学	CD
LLaMA-tuned	7B	2023-04	中文	通用	ckpt	LMFlow	香港科技大学	CD
Chinese-Vicuna	13B	2023-03	中文	通用	ckpt	Chinese-Vicuna	Facico	CD
Chinese-Vicuna	7B	2023-03	中文	通用	ckpt	Chinese-Vicuna	Facico	CD
ChatYuan-V2	0.7B	2023-03	中英	通用	ckpt	ChatYuan	元语智能	ED
Chinese-Alpaca	7B	2023-03	中文	通用	lora-ckpt	Chinese-LLaMA-Alpaca	Yiming Cui	CD
Luotuo	7B	2023-03	中文	通用	ckpt	Chinese-alpaca-lora	华中师范大学	CD
BELLE-LLAMA	7B	2023-03	中英	通用	ckpt	BELLE	贝壳	CD
BELLE-BLOOM	7B	2023-03	中英	通用	ckpt	BELLE	贝壳	CD
ChatGLM	6B	2023-03	中英	通用	ckpt	ChatGLM-6B	清华大学	ND
ChatRWKV	7B	2023-01	中英	小说	ckpt	ChatRWKV	BlinkDL	RNN	Blog

[Back to Top]

MultiModal-ChatLLM

收集包含中文的多模态大模型，具备对话等功能。

模型	大小	时间	语言模型	非语言模型	语言	领域	下载	项目地址	机构/个人	文献
LLasM	7B	2023-07	Chinese-Llama2	whisper-large-v2	中英	语音	ckpt	LLaSM	北京灵琐
Chinese-LLaVA	7B	2023-07	Chinese-Llama2	Clip-vit	中英	视觉	ckpt	Chinese-LLaVA	北京灵琐
RemoteGLM	6B	2023-07	VisualGLM-6B	VisualGLM-6B	中文	遥感	TODO	RemoteGLM	lzw-lzw
VisualCLA	7B	2023-07	Chinese-Alpaca-Plus	CLIP-ViT-L/14	中文	视觉	ckpt	Visual-Chinese-LLaMA-Alpaca	Ziqing Yang
yuren	7B	2023-07	baichuan-7B	CLIP	中英	视觉	ckpt	yuren-baichuan-7b	Pleisto
VisCPM-Chat	10B	2023-06	CPM-Bee	Q-Former	中英	视觉	ckpt	VisCPM	OpenBMB
VisCPM-Paint	10B	2023-06	CPM-Bee	Stable Diffusion 2.1	中英	视觉	ckpt	VisCPM	OpenBMB
XrayPULSE	7B	2023-06	PULSE	MedCLIP	中文	医学	ckpt	XrayPULSE	OpenMEDLab
SEEChat	6B	2023-06	ChatGLM	CLIP-ViT	中文	/	ckpt	SEEChat	360
Ziya-BLIP2-14B-Visual-v1	14B	2023-06	LLaMA-13B	BLIP2	中英	通用	ckpt	Fengshenbang-LM	IDEA研究院
Video-LLaMA-BiLLA	7B	2023-05	BiLLa-7B	MiniGPT-4	中英	通用	ckpt	Video-LLaMA	达摩院多语言NLP	Paper
Video-LLaMA-Ziya	13B	2023-05	Ziya-13B	MiniGPT-4	中英	通用	ckpt	Video-LLaMA	达摩院多语言NLP	Paper
XrayGLM	6B	2023-05	ChatGLM-6B	BLIP2-Qformer	中英	医学	ckpt-300 ckpt-3000	XrayGLM	澳门理工大学
X-LLM		2023-05	ChatGLM	ViT-g	中文	/	TODO	X-LLM	中科院自动化所	Paper
VisualGLM	6B	2023-05	ChatGLM-6B	BLIP2-Qformer	中英	视觉	ckpt	VisualGLM-6B	清华大学

[Back to Top]

中文指令数据集

收集包含中文的指令数据集，用于微调语言模型。

名称	大小	时间	语言	下载	项目地址	作者	备注
TransGPT-sft	346k	2023-07	中文	dataset	TransGPT	北京交通大学
TransGPT-pt	58k	2023-07	中文	dataset	TransGPT	北京交通大学
ShareGPT-Chinese-English	90K	2023-07	中英	dataset	llama2-Chinese-chat	Ke Bai
educhat-sft-002-data-osm	400w	2023-06	中英	dataset	EduChat	华东师范大学	教育
chatgpt-corpus	3M	2023-06	中文	dataset	chatgpt-corpus	plex
Simle	350k	2023-06	中文	dataset	smile	qiuhuachuan	心理健康
QiZhen	20k	2023-06	中文	dataset	QiZhenGPT	浙江大学	医学
BayLing-80	80	2023-06	中英	dataset	BayLing	中国科学院	多轮指令
Tigerbot-dataset	120k	2023-06	中英	dataset	TigerBot	虎博科技
lawyer-llama	/	2023-05	中文	dataset	lawyer-llama	Quzhe Huang	法律
Bactrian-X	67K	2023-05	多语	dataset	bactrian-x	MBZUAI
CrimeKgAssitant	52k	2023-05	中文	dataset	LAW-GPT	hongchengliu	法律
moss-002-sft-data	1.1M	2023-04	中英	dataset	MOSS	复旦大学
moss-003-sft-data	1.1M	2023-04	中英	dataset	MOSS	复旦大学
moss-003-sft-plugin-data	300K	2023-04	中英	dataset	MOSS	复旦大学
Safety-Prompts	100K	2023-04	中文	dataset	Safety-Prompts	清华大学	评测平台
OASST1	/	2023-04	多语	dataset	Open-Assistant	OpenAssistant
ShareChat	90K	2023-04	中英	dataset	ShareChat	czhko
GPT-4-LLM	52K	2023-04	中文	dataset	GPT-4-LLM	Instruction-Tuning-with-GPT-4	paper
COIG	200K	2023-04	中文	dataset	FlagInstruct	BAAI	paper
RedGPT	50k	2023-04	中文	dataset	RedGPT	MiniGPT
shareGPT_cn	20k	2023-04	中文	dataset	shareGPT_cn	shareAI
generated_chat_0.4M	0.4M	2023-04	中文	dataset	BELLE	Ke Technologies	角色对话
multiturn_chat_0.8M	0.8M	2023-04	中文	dataset	BELLE	Ke Technologies	多轮任务
school_math_0.25M	0.25M	2023-04	中文	dataset	BELLE	Ke Technologies	数学题
Zhihu-KOL	/	2023-03	中文	dataset	Zhihu-KOL	Rui Wang
InstructionWild	104k	2023-03	中英	dataset	InstructionWild	Xue Fuzhao
Alpaca-CoT	/.	2023-03	中英	dataset	Alpaca-CoT	Qingyi Si
GuanacoDataset	/	2023-03	多语	dataset	guanaco-model	Guanaco
Traditional-Chinese-alpaca	52K	2023-03	中文	dataset	Traditional-Chinese Alpaca	NTU NLP Lab	gpt翻译
alpaca_chinese_dataset	/	2023-03	中文	dataset	alpaca_chinese_dataset	akou	人工校验
alpaca-chinese-dataset	/	2023-03	中文	dataset	alpaca-chinese-dataset	carbonz	机器翻译
train_2M_CN	2M	2023-03	中文	dataset	BELLE	Ke Technologies
train_1M_CN	1M	2023-03	中文	dataset	BELLE	Ke Technologies
train_0.5M_CN	0.5M	2023-03	中文	dataset	BELLE	Ke Technologies
HC3 人类-ChatGPT 问答	/	2023-03	中文	dataset	chatgpt-comparison-detection	SimpleAI
firefly-train-1.1M	1.1M	2023-03	中文	dataset	Firefly	Jianxin Yang

[Back to Top]

大模型评估基准

1. C-Eval

C-Eval 是一个全面的中文基础模型评估套件。它包含了13948个多项选择题，涵盖了52个不同的学科和四个难度级别，查看论文了解更多细节。

[官方网站] [Github] [论文]

2. FlagEval

FlagEval是一个面向AI基础模型的评测工具包。我们的目标是探索和集合科学、公正、开放的基础模型评测基准、方法及工具，对多领域（如语言、语音、视觉及多模态）的基础模型进行多维度（如准确性、效率、鲁棒性等）的评测。我们希望通过对基础模型的评测，加深对基础模型的理解，促进相关的技术创新及产业应用。

[官方网站] [Github]

3. SuperCLUElyb

SuperCLUE琅琊榜，这是一个中文通用大模型对战评价基准，它以众包的方式提供匿名、随机的对战。在本文中，我们发布了初步的结果和基于Elo评级系统的排行榜，Elo评级是国际象棋和其他竞技游戏中广泛使用的评级系统。我们邀请整个社区加入这项工作，贡献新的模型，并通过提问和投票选出你最喜欢的答案来评估它们。

[官方网站] [Github]

4. XiezhiBenchmark

该基准包括来自13个不同学科的516个学科的220,000个多项选择题，以及15,000个来自单一学科和多个学科的问题。我们对47个最新的大型语言模型在Xiezhi上进行了评估，结果表明在科学、工程、农学、医学和艺术等领域，大型语言模型的表现超过了人类的平均水平，但在经济学、法学、教育学、文学、历史和管理学等领域，人类的表现仍然远远超过了大型语言模型。

[官方网站] [Github] [论文]

5. Open LLM Leaderboard

由HuggingFace组织的一个LLM评测榜单，目前已评估了较多主流的开源LLM模型，以英文为主。主要目标是跟踪、排名和评估最新的大语言模型和聊天机器人，让所有人方便的观察到开源社区的进展和评估这些模型。这个排行榜有一个关键优势，社区中的任何成员都可以提交模型，并在 Hugging Face 的 GPU 集群上自动评估。

[官方网站]

6. 中文大模型安全评测平台

大模型安全测评依托于一套系统的安全评测框架，涵盖了仇恨言论、偏见歧视言论、犯罪违法、隐私、伦理道德等八大类别，包括细粒度划分的40余个二级安全类别。

[官方网站] [Github] [论文]

[Back to Top]

在线体验大模型

注：需要申请或者注册方可体验,更多见Github

1. ChatGPT--OpenAI

OpenAI所提出的GPT相关模型，也是目前最火的大语言模型，发布版本已经到了4.0.

[官方网站]

2. New bing--微软

NewBing是微软在2023年3月推出的一款全新的搜索引擎，它基于OpenAI的大型语言模型（LLM），并结合了ChatGPT和DALL·E的技术，为用户提供了一个AI驱动的网络助手。

[官方网站]

3. 文心一言--百度

百度全新一代知识增强大语言模型，文心大模型家族的新成员，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。

[官方网站]

4. 通义大模型--阿里

阿里大模型统一品牌，覆盖语言、听觉、多模态等领域致力于实现接近人类智慧的通用智能，让AI从“单一感官”到“五官全开”

[官方网站]

5. 星火认知大模型--科大讯飞

科大讯飞推出的新一代认知智能大模型，拥有跨领域的知识和语言理解能力，能够基于自然对话方式理解与执行任务。从海量数据和大规模知识中持续进化，实现从提出、规划到解决问题的全流程闭环。

[官方网站]

6. Claude--Anthropic

Claude，是人工智能初创公司Anthropic 发布的一款类似ChatGPT的产品。

[官方网站]

7. ChatGLM--智谱AI

基于千亿基座模型 GLM-130B，注入代码预训练，通过有监督微调等技术实现人类意图对齐，具备问答、多轮对话、代码生成功能的中英双语大模型。

[官方网站]

8. 天工大模型--昆仑万维

天工作为一款大型语言模型，拥有强大的自然语言处理和智能交互能力，能够实现智能问答、聊天互动、文本生成等多种应用场景，并且具有丰富的知识储备，涵盖科学、技术、文化、艺术、历史等领域。

[官方网站]

9. 序列猴子大模型--出门问问

序列猴子大模型是一个具有长序列、多模态、单模型、大数据等特点的超大规模语言模型，基于其通用的表示能力与推理能力，能够进行多轮交互，打造更便捷流畅的用户体验，极大地提高了生产效率和数据处理能力，被广泛应用于问答系统、自然语言处理、机器翻译、文本摘要等领域。

[官方网站]

10. MOSS--复旦大学

MOSS是复旦大学自然语言处理实验室发布的国内第一个对话式大型语言模型

[官方网站]

11. 360智脑大模--360

360智脑的生成与创作、多轮对话、代码能力、阅读理解、逻辑与推理、多模态等十大核心能力可覆盖大模型全部应用场景。

[官方网站]

12. 曹植GPT大语言模型--达观数据

达观数据积极探索大语言模型LLM的实践，研发国产版GPT“曹植”系统，作为垂直、专用、自主可控的国产版ChatGPT模型，不仅实现专业领域的AIGC智能化应用，且可内置在客户各类业务系统中提供专用服务

[官方网站]

13. 日日新--商汤

商汤“日日新SenseNova”大模型体系，正式问世

不仅展示了大模型体系下的语言大模型，还展示了AI文生图创作、2D/3D数字人生成、大场景/小物体生成等一系列生成式AI模型及应用，还揭开了依托商汤AI大装置SenseCore实现“大模型+大算力”融合创新的研发体系。

[官方网站]

14. 天燕大模型--APUS

天燕大模型是APUS公司自研的多模态大模型（LMM），具备对文本、图像、视频、音频的理解和生成能力（视频和音频的能力即将推出）。

[官方网站]

15. 元乘象--智子引擎

图文机器人

[官方网站]

16. 西湖大模型--西湖心辰

[官方网站]

17. Dongni--深思考

AI多模态搜索引擎

[官方网站]

18. 山海大模型--云知声

只需一次对话即可获取信息、知识和灵感，解决需求。是每个人身边的助理、朋友和专家。

[官方网站]

19. MiniMax大模型--MiniMax

MiniMax 最新一代的中文大语言模型帮助人类高效写作、激发创意、获取知识、做出决策现已对企业开放API体验

[官方网站]

[Back to Top]

开源模型库平台

1. 🤗huggingface: The AI community building the future.

• 模型下载地址: https://huggingface.co/models

2. ModelScope: ModelScope平台是以模型为中心的模型开源社区

• 模型下载地址:https://modelscope.cn/models

3. flagopen: flagopen飞智大模型技术开源体系

• 模型下载地址: https://model.baai.ac.cn/models

[Back to Top]

开源数据集库

1. huggfaceing数据集仓库: https://huggingface.co/datasets

• 包含了自然语言处理、计算机视觉、语音、多模态等数据集，内置100多个多语言公共数据集下载

2. ModelScope数据集仓库:https://modelscope.cn/datasets

• 提供了覆盖自然语言处理、计算机视觉、语音、多模态等数据集，更有阿里巴巴集团贡献的专业领域数据集，

3. flagopen数据集仓库: https://data.baai.ac.cn/data

• 内置公共数据集下载，可下200G大规模预训练语料WuDaoCorpora

4. cluebenchmarks数据集仓库：https://www.cluebenchmarks.com/dataSet_search.html

• 多个中英文NLP数据集，并可申请下载100GB的高质量中文预训练语料CLUECorpus2020

5. MNBVC: Massive Never-ending BT Vast Chinese corpus

• 超大规模中文语料集

6. OpenDataLab数据集仓库: https://opendatalab.com/

• OpenDataLab 是有影响力的数据开源开放平台，公开数据集触手可及。

7. OSCAR: Open Super-large Crawled Aggregated coRpus, 多语言数据集

• 最新版本包含1.4T的中文语言数据集

[Back to Top]

other-awesome

1. Awesome-Chatgpt github

本项目旨在收集关于ChatGPT 的资源、工具、应用和用法等。

2. Awesome-ChatGPT-Prompts github

本项目旨在收集关于ChatGPT 模型使用的Prompts示例集。

3. Awesome-LLM github

本项目旨在收集有关大型语言模型相关资料，尤其是 ChatGPT 的论文的精选列表。它还包含 LLM 训练框架、部署 LLM 的工具、有关 LLM 的课程和教程以及所有公开可用的 LLM 模型和 API。

4. Awesome-LangChain github

本项目旨在收集与LangChain有关应用列表。LangChain是一个惊人的框架，可以在短时间内完成相关LLM应用开发。

5. Awesome-Open-Gpt github

本项目旨在收集关于GPT开源精选项目的合集（170+全网最全)，其中包括了一些GPT镜像、GPT增强、GPT插件、GPT工具、GPT平替的聊天机器人、开源大语言模型等等。

6. Awesome-Multimodal-Large-Language-Models github

本项目是关于多模态大语言模型（MLLM）的精选列表，包括数据集、多模态模型、多模态语境学习、多模态思维链、llm 辅助视觉推理、基础模型等。此列表将实时更新。✨

7. Awesome-Transformer-Attention github

此 repo 包含 Vision Transformer & Attention 的综合论文列表，包括论文、代码和相关网站。

8. Awesome-Prompt-Engineering github

This repository contains a hand-curated resources for Prompt Engineering with a focus on Generative Pre-trained Transformer (GPT), ChatGPT, PaLM etc

9. Awesome-AITools github

这个仓库整理AI相关的实用工具。

10. Awesome-Chinese-LLM github

本项目旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料，目前收录的资源已达100+个！

11. Awesome-LLM4Tool github

Awesome-LLM4Tool is a curated list of the papers, repositories, tutorials, and anythings related to the large language models for tools.

12. Awesome LLM Security github

A curation of awesome tools, documents and projects about LLM Security.

13. Awesome AI Agents github

Welcome to our list of AI agents. We structured the list into two parts: Open source projects and Closed-source projects and companies

14. Awesome-LLM-Large-Language-Models-Notes github

LLM-Large-Language-Models-Notes

15. Awesome-Efficient-LLM github

A curated list for Efficient Large Language Models。

16. Awesome Datasets for LLM Training github

A quick guide (especially) for trending instruction finetuning datasets。

17. Awesome-Align-LLM-Human github

A collection of papers and resources about aligning large language models (LLMs) with human.

18. Awesome RLHF (RL with Human Feedback) github

This is a collection of research papers for Reinforcement Learning with Human Feedback (RLHF). And the repository will be continuously updated to track the frontier of RLHF.

19. Prompt-in-context-learning github

An Open-Source Engineering Guide for Prompt-in-context-learning from EgoAlpha Lab.

20. Awesome Instruction Learning github

An awesome reading list of Instruction Tuning (or, put it more comprehensively, Instruction Learning), including papers and datasets.

21. Awesome-Foundation-Models github

A foundation model is a large-scale pretrained model (e.g., BERT, DALL-E, GPT-3) that can be adapted to a wide range of downstream applications. This term was first popularized by the Stanford Institute for Human-Centered Artificial Intelligence. This repository maintains a curated list of foundation models for vision and language tasks. Research papers without code are not included.

22. Awesome-AI-Devtools github

This is a curated list of AI-powered developer tools. These tools leverage AI to assist developers in tasks such as code completion, refactoring, debugging, documentation, and more.

23. Awesome-Autonomous-GPT github

A curated list of awesome projects and resources related to autonomous AI agents.

[Back to Top]

NLU系列

BERT

• 2018 | BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding | Jacob Devlin, et al. | arXiv | PDF
• 2019 | Pre-Training with Whole Word Masking for Chinese BERT | Yiming Cui, et al. | arXiv | PDF

备注:

wwm全称为**Whole Word Masking **,一个完整的词的部分WordPiece子词被mask，则同属该词的其他部分也会被mask

ext表示在更多数据集下训练

[Back to Top]

ChineseBERT

• 2021 | ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information | Zijun Sun, et al. | arXiv | PDF

[Back to Top]

RoBERTa

• 2019 | RoBERTa: A Robustly Optimized BERT Pretraining Approach | Yinhan Liu, et al. | arXiv | PDF

[Back to Top]

ALBERT

• 2019 | ALBERT: A Lite BERT For Self-Supervised Learning Of Language Representations | Zhenzhong Lan, et al. | arXiv | PDF

[Back to Top]

NEZHA

• 2019 | NEZHA: Neural Contextualized Representation for Chinese Language Understanding | Junqiu Wei, et al. | arXiv | PDF

[Back to Top]

MacBERT

• 2020 | Revisiting Pre-Trained Models for Chinese Natural Language Processing | Yiming Cui, et al. | arXiv | PDF

[Back to Top]

WoBERT

• 2020 | 提速不掉点：基于词颗粒度的中文WoBERT | 苏剑林. | spaces | Blog post

[Back to Top]

XLNET

• 2019 | XLNet: Generalized Autoregressive Pretraining for Language Understanding | Zhilin Yang, et al. | arXiv | PDF

[Back to Top]

ELECTRA

• 2020 | ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators | Kevin Clark, et al. | arXiv | PDF

[Back to Top]

ZEN

• 2019 | ZEN: Pre-training Chinese Text Encoder Enhanced by N-gram Representations | Shizhe Diao, et al. | arXiv | PDF
• 2021 | ZEN 2.0: Continue Training and Adaption for N-gram Enhanced Text Encoders | Yan Song, et al. | arXiv | PDF

[Back to Top]

ERNIE

• 2019 | ERNIE: Enhanced Representation through Knowledge Integration | Yu Sun, et al. | arXiv | PDF

• 2020 | SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis | Hao Tian, et al. | arXiv | PDF

• 2020 | ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for Natural Language Understanding | Dongling Xiao, et al. | arXiv | PDF

备注:

PaddlePaddle转TensorFlow可参考: tensorflow_ernie

PaddlePaddle转PyTorch可参考: ERNIE-Pytorch

[Back to Top]

ERNIE3

• 2021 | ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and Generation | Yu Sun, et al. | arXiv | PDF

• 2021 | ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation | Shuohuan Wang, et al. | arXiv | PDF

PaddlePaddle转PyTorch可参考: ERNIE-Pytorch

[Back to Top]

RoFormer

• 2021 | RoFormer: Enhanced Transformer with Rotary Position Embedding | Jianlin Su, et al. | arXiv | PDF

• 2021 | Transformer升级之路：2、博采众长的旋转式位置编码 | 苏剑林. | spaces | Blog post

[Back to Top]

StructBERT

• 2019 | StructBERT: Incorporating Language Structures into Pre-training for Deep Language Understanding | Wei Wang, et al. | arXiv | PDF

[Back to Top]

Lattice-BERT

• 2021 | Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese Pre-trained Language Models | Yuxuan Lai, et al. | arXiv | PDF

[Back to Top]

Mengzi-BERT

• 2021 | Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese | Zhuosheng Zhang, et al. | arXiv | PDF

[Back to Top]

Bloom

• 2022 | Bloom: BigScience Large Open-science Open-access Multilingual Language Model | huggingface bigscience | - | BLOG

注：作者另有bloom-389m-zh到bloom-2b5-zh等多个中文模型

[Back to Top]

TaCL

• 2021 | TaCL: Improving BERT Pre-training with Token-aware Contrastive Learning | Yixuan Su, et al. | arXiv | PDF

[Back to Top]

MC-BERT

• 2021 | MC-BERT: Conceptualized Representation Learning for Chinese Biomedical Text Mining | alibaba-research | arXiv | PDF

[Back to Top]

二郎神

[Back to Top]

PERT

• 2022 | PERT: Pre-Training BERT with Permuted Language Model | Yiming Cui, et al. | arXiv | PDF

[Back to Top]

MobileBERT

• 2020 | MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices | Zhiqing Sun, et al. | arXiv | PDF

[Back to Top]

GAU-α

• 2022 | GAU-α: (FLASH) Transformer Quality in Linear Time | Weizhe Hua, et al. | arXiv | PDF | blog

[Back to Top]

DeBERTa

• 2020 | DeBERTa: Decoding-enhanced BERT with Disentangled Attention | Pengcheng He, et al. | arXiv | PDF |

[Back to Top]

GlyphBERT

• 2021 | GlyphCRM: Bidirectional Encoder Representation for Chinese Character with its Glyph | Yuxin li, et al. | arXiv | PDF |

[Back to Top]

CKBERT

• 2022 | Revisiting and Advancing Chinese Natural Language Understanding with Accelerated Heterogeneous Knowledge Pre-training | Zhang, Taolin, et al. | arXiv | PDF

[Back to Top]

LERT

• 2022 | LERT: A Linguistically-motivated Pre-trained Language Model | Yiming Cui et al. | arXiv | PDF

[Back to Top]

RoCBert

• 2022 | RoCBert: Robust Chinese Bert with Multimodal Contrastive Pretraining | Hui Su et al. | ACL | PDF

[Back to Top]

M3E

模型	版本	PyTorch	作者	源地址	备注
m3e-base	base	m3e-base	Moka-AI	uniem	文本嵌入模型
M3e-small	Small	m3e-small	Moka-AI	uniem	文本嵌入模型

[Back to Top]

LEALLA

• 2023 | LEALLA: Learning Lightweight Language-agnostic Sentence Embeddings with Knowledge Distillation | Zhuoyuan Mao et al. | EACL | PDF

[Back to Top]

NLG系列

GPT

• 2019 | Improving Language Understandingby Generative Pre-Training | Alec Radford, et al. | arXiv | PDF

• 2019 | Language Models are Unsupervised Multitask Learners | Alec Radford, et al. | arXiv | PDF

[Back to Top]

GPT-3

• 2019 | Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context | Zihang Dai, et al. | arXiv | PDF

• 2020 | Language Models are Few-Shot Learners | Tom B. Brown, et al. | arXiv | PDF

[Back to Top]

NEZHA-Gen

• 2019 | NEZHA: Neural Contextualized Representation for Chinese Language Understanding | Junqiu Wei, et al. | arXiv | PDF

• 2019 | Improving Language Understandingby Generative Pre-Training | Alec Radford, et al. | arXiv | PDF

[Back to Top]

CPM-Generate

• 2020 | CPM: A Large-scale Generative Chinese Pre-trained Language Model | Zhengyan Zhang, et al. | arXiv | PDF

备注:

PyTorch转TensorFlow可参考: CPM-LM-TF2

PyTorch转PaddlePaddle可参考: CPM-Generate-Paddle

[Back to Top]

T5

• 2019 | Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer | Colin Raffel, et al. | arXiv | PDF

[Back to Top]

T5-PEGASUS

• 2019 | Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer | Colin Raffel, et al. | arXiv | PDF

• 2019 | PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization | Jingqing Zhang, et al. | arXiv | PDF

• 2021 | T5 PEGASUS：开源一个中文生成式预训练模型 | 苏剑林. | spaces | Blog post

Keras转PyTorch可参考: t5-pegasus-pytorch

[Back to Top]

Mengzi-T5

• 2021 | Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese | Zhuosheng Zhang, et al. | arXiv | PDF

[Back to Top]

PanGu-Alpha

• 2021 | PanGu-α: Large-scale Autoregressive Pretrained Chinese Language Models with Auto-parallel Computation | Wei Zeng, et al. | arXiv | PDF

[Back to Top]

EVA

• 2021 | EVA: An Open-Domain Chinese Dialogue System with Large-Scale Generative Pre-Training | Hao Zhou, et al. | arXiv | PDF

[Back to Top]

BART

• 2019 | BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension | Mike Lewis, et al. | arxiv | PDF

[Back to Top]

闻仲

[Back to Top]

余元

[Back to Top]

RWKV

• 2021 | An Attention Free Transformer | Shuangfei Zhai, et al. | arxiv | PDF
• 2022 | The RWKV Language Model . | github

[Back to Top]

PromptCLUE

[Back to Top]

ChatYuan

[Back to Top]

SkyText

[Back to Top]

ProphetNet

• 2020 | Prophetnet: Predicting future n-gram for sequence-to-sequence pre-training | Qi, Weizhen, et al. | arxiv | PDF
• 2021 | ProphetNet-X: Large-Scale Pre-training Models for English, Chinese, Multi-lingual, Dialog, and Code Generation | Qi, Weizhen, et al. | arxiv | PDF

[Back to Top]

NLU-NLG系列

UniLM

• 2019 | Unified Language Model Pre-training for Natural Language Understanding and Generation | Li Dong, et al. | arXiv | PDF

[Back to Top]

Simbert

• 2020 | 鱼与熊掌兼得：融合检索和生成的SimBERT模型 | 苏剑林. | spaces | Blog post

[Back to Top]

RoFormer-sim

• 2021 | SimBERTv2来了！融合检索和生成的RoFormer-Sim模型 | 苏剑林. | spaces | Blog post

[Back to Top]

周文王

[Back to Top]

CPM-2

• 2021 | CPM-2: Large-scale Cost-effective Pre-trained Language Models | Zhengyan Zhang, et al. | arXiv | PDF

[Back to Top]

CPT

• 2021 | CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation | Yunfan Shao, et al. | arxiv | PDF

[Back to Top]

GLM

• 2022 | GLM: General Language Model Pretraining with Autoregressive Blank Infilling | Zhengxiao Du, et al. | arXiv | PDF
• 2022 | GLM-130B: An Open Bilingual Pre-trained Model | Aohan Zeng, et al. | arXiv | PDF

[Back to Top]

PLUG

• 2019 | StructBERT: Incorporating Language Structures into Pre-training for Deep Language Understanding | Wei Wang, et al. | arXiv | PDF
• 2020 | PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation | Bin Bi, et al. | ACL| PDF

[Back to Top]

OPD

• 2022 | 待定 | , et al. | arXiv | PDF

[Back to Top]

Multi-Modal

WenLan

• 2021 | WenLan: Bridging Vision and Language by Large-Scale Multi-Modal Pre-Training | Yuqi Huo, et al. | arXiv | PDF

[Back to Top]

CogView

• 2021 | CogView: Mastering Text-to-Image Generation via Transformers | Ming Ding, et al. | arXiv | PDF