科大讯飞 大模型算法实习 面经

社招第一次面试手撕了这么多代码.....太硬核了！基操：项目做的是什么？你训练算法过程中一般用哪些损失函数？中途插入问题：qwenvl系列的模块设计由哪些部分组成？然后就直接开始手撕代码了：多模态输入、Token 处理、Self/Cross Attention、Mask、LoRA、Dataset/DataLoader、训练流程、累计梯度、eval、多进程通信、微调方法 全都要会写代码。多模态大模型算法岗 · 高频面试题 + 标准答案（完整版）1. 多模态模型（图文）输入是怎么 Tokenize 的？答：文本用文本分词器转成文本 Token。图片不直接分词，而是切成固定大小的 Patch，每个 ...

感觉自己好菜、面试很难，还是要多多练习1.大模型相关经历深挖：你项目里最核心的贡献是什么，怎么验证有效2.对比学习 loss：负样本和正样本拉不开/太像了，你会怎么改损失或采样3.FlashAttention 跟普通 attention 的差异？实现里 QK^T、softmax、PV 这几步怎么落4.3D 并行里 DP/DDP你怎么理解；实际落地时通信瓶颈一般卡在哪些环节5.14B：FP16 权重大概多大；训练还要加哪些；INT8 大概能省多少6.torch.contiguous() 干嘛的？推理为什么在意连续性7.代码：读 txt 井字棋（3×3），判断当前玩家是否获胜8.交叉熵损失：解释/怎么写9.线性回归用 SGD：更新公式怎么推/怎么写

1. Python 中 is 和 == 的区别是什么？答案：== 比较值是否相等is 比较是否是同一个对象（身份/内存地址）代码： a = [1, 2] b = [1, 2] c = a print(a == b) # True print(a is b) # False print(a is c) # True 2. *args 和 **kwargs 的作用是什么？答案：*args：接收任意数量位置参数（元组）**kwargs：接收任意数量关键字参数（字典）代码： def demo(*args, **kwargs): print(args) print(kwargs) demo(1, 2, ...

给我面没招了，感觉自己好菜、面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.手撕算法题最长回文子串；2.vllm的一些常规问题，paged attention等，整体问的比较浅；3.ppo/grpo/gspo/dapo的区别，优化点；（算法相关）4.投机采样reject sampling公式；5.多模态大模型的一些问题，有没有接触过internvl，qwenvl，qwen-omni等模型；6.国产卡优化相关问题探讨；