本仓库为大模型面试相关概念，由本人参考网络资源整理，欢迎阅读，如果对你有用，麻烦点一下 start，谢谢！

为了在低资源情况下，学习大模型，进行动手实践，创建 tiny-llm-zh仓库，旨在构建一个小参数量的中文Llama2大语言模型，方便学习，欢迎学习交流。

本仓库相关文章已放在个人博客中，欢迎阅读：

在线阅读链接：LLMs Interview Note

相关答案为自己撰写，若有不合理地方，请指出修正，谢谢！

欢迎关注微信公众号，会不定期更新LLM内容，以及一些面试经验：

1. 语言模型

1. llama系列模型
2. chatglm系列模型

1. attention
2. layer_normalization
3. 位置编码
4. tokenize分词
5. token及模型参数
6. 激活函数

1. 概述
2. 数据并行
3. 流水线并行
4. 张量并行
5. 序列并行
6. 多维度混合并行
7. 自动并行
8. moe并行
9. 总结

1. DeepSpeed介绍

1. 显存问题

1. 基本概念
2. prompting
3. adapter-tuning
4. lora
5. 总结

1. LLaMa2微调

1. 微调
2. 预训练

1. llm推理框架简单总结
2. vLLM
3. Text Generation Inference
4. Faster Transformer
5. TRT LLM

1. LLM推理优化技术
2. LLM推理常见参数

1. 推理

1. 策略梯度（pg）
2. 近端策略优化(ppo)

1. 大模型RLHF：PPO原理与源码解读
2. DPO

1. rlhf相关
2. 强化学习

1. 检索增强llm

2. rag（检索增强生成）技术

1. 大模型agent技术

1. 评测

1. 大模型幻觉
2. 幻觉来源与缓解

1. 思维链（cot）

1. langchain

• 2024.03.19 : 推理参数
• 2024.03.17 ： 强化学习部分，PG，PPO，RLHF，DPO
• 2024.03.13 ： 强化学习题目
• 2024.03.10 : LLMs相关课程
• 2024.03.08 ： RAG技术
• 2024.03.05 ：大模型评估，幻觉
• 2024.01.26 ：语言模型简介
• 2023.12.15 ： llama，chatglm 架构
• 2023.12.02 ：LLM推理优化技术
• 2023.12.01 ：调整目录
• 2023.11.30 ：18.Layer-Normalization，21.Attention升级
• 2023.11.29 ： 19.激活函数，22.幻觉，23.思维链
• 2023.11.28 ： 17.位置编码
• 2023.11.27 ： 15.token及模型参数， 16.tokenize分词
• 2023.11.25 ： 13.分布式训练
• 2023.11.23 ： 6.推理， 7.预训练， 8.评测，9.强化学习， 11.训练数据集，12.显存问题,14.agent
• 2023.11.22 ： 5.高效微调
• 2023.11.10 ： 4.LangChain
• 2023.11.08 ： 建立仓库；1.基础，2.进阶，3.微调