科大讯飞大模型算法一面 业务拷打

1. 介绍一下你的实习、项目和论文，重点讲一个你真正做深了的点2. 介绍一个你最熟悉的大模型架构，并说清楚它在注意力结构、训练策略和推理优化上的特点可以拿 Transformer 系列来答。核心由 Embedding、Multi-Head Attention、FFN、残差连接和 LayerNorm 组成。注意力结构负责建模 token 间依赖，训练上一般采用大规模自监督预训练，比如 next token prediction，然后再做 SFT、偏好对齐。推理优化上会做 KV Cache、FlashAttention、Continuous Batching、量化和张量并行。如果你想答得更像大模型...

继续来分享下之前的面经~欢迎友好讨论，信息共享1. LLaMA 相比原始 Transformer 架构有哪些改进？2. 微调（Fine-tuning）和对齐（Alignment）的区别？3. 模型微调到什么程度才需要进行对齐？4. 四种对齐算法的区别：PPO、DPO、GRPO、DSPO？5. 位置编码的作用？为什么相对位置编码通常比绝对位置编码更好？6. GAE（Generalized Advantage Estimation）以及重要性采样（Importance Sampling）？7. 损失采样（Loss Sampling）相关问题？8. 目前了解哪些大模型架构？例如 LLaMA 等。9. 是否了解 PagedAttention？10. LoRA 中两个低秩矩阵是如何初始化的？11. PPO 中的四种模型分别是什么？各自的作用是什么？

这份题不是随便凑出来的 100 道，而是从大量面经和题目里 筛出来的高频题。我整理了上百套校招、实习、校招的大模型相关面试题，又结合公开平台上反复出现的问题，把那些 出现次数最多、覆盖岗位最广、面试最容易问到 的内容统一收拢，最后形成这套 大模型常考面试题100道1. Transformer 的整体结构是什么？答：Transformer 最早是 Encoder-Decoder 结构。Encoder 每层主要是多头自注意力和前馈网络，Decoder 每层除了 masked self-attention 和前馈网络，还多了一个 cross-attention，用来关注 Encoder 的输出。不过...

双非本科，靠着字节、百度、蔚来三段实习一路撑到春招，到现在才真正认清现实。一封封感谢信砸过来，慢慢明白，学历和学校带来的门槛，远比几段光鲜实习要重得多。最让人无力的，莫过于拼尽全力刷实习、攒经历，最后却连一个入场机会都换不来，那种落差感真的太磨人。总自以为是地觉得，有大厂实习就够了，一定能挤进心仪的公司，可现实一次又一次把幻想击碎。现在的我，早已没了春招初期的锐气，只剩下满心的迷茫和惆怅。不知道是该坦然接受现实，还是继续抱着不切实际的期待，在大厂的梦里不肯醒。