记录一下最近面试情况 最近在面试，面试的岗位是资深大模型算法工程师，记录一下最近的一些面试情况 ，希望可以帮到大家。 技术上的一些提问： 1. transformer的模型结构，transformer中的各种位置编码和外推策略 2. Bert的预训练任务，Bert模型的一些改进模型 3. Bert的embedding是怎么做的 4. 对Bert的CLS token的理解 5. LLM的tokenizer，bpe和bbpe的区别 6. bbpe在解码时会可能出现乱码吗 7. lora的原理和使用经验 8. 为什么要对点积注意力进行缩放，以及缩放因子为什么是根号下d_k 9. 常见的注意力机制：MHA、MQA、GQA、MLA 10. 讲一讲qwen、DeepSeek-v3 的模型架构 11. 基于Bert微调的sequence classification和token classification的区别 12. transformer的FFN为什么要先升维再降维 13. batchNorm和layerNorm的对比，为什么需要加上仿射变换 14. 模型训练显存开销主要来自哪几部分 15. 讲一讲AdamW优化器。 16. 解释一下交叉熵和KL，两者有什么关系。 17. PPO和GRPO的区别 18. 讲一下对MOE架构的理解 19. next token prediction为什么可以做出这么好的效果。 项目上的一些考察点或者问法 1. 项目解决了什么问题，创造了什么价值，量化指标 2. 你在项目中担当什么角色，承担什么工作 3. 如果你现在负责这个项目重新开始，你会怎么做 4. 会有跨部分沟通合作吗？都是如何协作的？ 5. 客观评价一下这个项目 应用上的考察点 1. Agent：常见的Agent框架和模式 2. RAG：向量模型、知识库构建、分片策略、优化经验、如何评估 3. 模型微调：监督微调、强化微调、lora等 4. chatBI 其他的开放性问题 1. 最近在关注哪些技术，讲讲业界最近有什么大事 2. 自己辛辛苦苦做了很久的优化，结果直接被最新的开源技术或模型秒杀，如何看待这种情况。 3. 最近3年的职业规划 4. 你觉的自己最大的优点或者优势 5. 为什么要离职 内容来自: 知乎@JerryFly