MiLM-6B
介绍
MiLM-6B 是由小米开发的一个大规模预训练语言模型，参数规模为64亿。在 C-Eval 和 CMMLU 上均取得同尺寸最好的效果。
模型相关信息持续更新中...
评测结果
C-Eval
C-Eval 数据集是一个全面的中文基础模型评测数据集，涵盖了 52 个学科和四个难度的级别。
| 模型 | Average | STEM | Social Sciences | Humanities | Others | Avg(Hard) |
|---|---|---|---|---|---|---|
| MiLM-6B | 60.2 | 54.5 | 71.7 | 62.7 | 57.7 | 42.0 |
| MiLM-1.3B | 45.8 | 38.0 | 59.5 | 49.8 | 43.4 | 29.9 |
测试采用zero-shot
CMMLU
CMMLU 数据集是一个综合性的中文评估基准，专门用于评估语言模型在中文语境下的知识和推理能力。CMMLU涵盖了从基础学科到高级专业水平的67个主题。
- zero-shot
| 模型 | 平均分 | STEM | 人文学科 | 社会科学 | 其他 | 中国特定主题 |
|---|---|---|---|---|---|---|
| MiLM-6B | 60.37 | 48.88 | 63.49 | 66.2 | 62.14 | 62.07 |
| MiLM-1.3B | 50.79 | 40.51 | 54.82 | 54.15 | 53.99 | 52.26 |
- five-shot
| 模型 | 平均分 | STEM | 人文学科 | 社会科学 | 其他 | 中国特定主题 |
|---|---|---|---|---|---|---|
| MiLM-6B | 57.17 | 46.85 | 61.12 | 61.68 | 58.84 | 59.39 |
| MiLM-1.3B | 45.39 | 35.59 | 49.58 | 49.03 | 47.56 | 48.17 |