腾讯pcg 三面 总监面 多模态(已oc)
自我介绍
项目
deepspeed zero 的三个状态？
1b 的模型需要多少显存？16G。模型2g,梯度2g，优化器状态4g+4g(以adam为例，一阶动量32位和二阶动量32位)。如果有32位的模型参数的备份，就还有4g。一共2+2+4+4+4=16g。
adam 优化器的形式？
Adam优化器中：
- 一阶矩估计：用于引入动量，使参数更新具有“惯性”，加速收敛，同时平滑梯度，减少噪声影响，让参数更新更稳定。
- 二阶矩估计：通过衡量梯度方差，自适应调整各参数维度的学习率，使不同维度都能以合适速度更新，还能有效处理稀疏梯度问题。
dpo ppo grpo的区别？
为什么用llava 不用qwen-vl？
在图文检索任务中，对CLIP细粒度问题和词序问题的看法，可以怎么解决这个问题？分别从模型和数据层面来解决。
clip对比学习的方式导致了对词序和组合词不敏感，个人认为clip无法解决这个问题，只能结合llm，利用改成多阶段用clip + mllm去做。
做题
最大子数组和。
反问：
领导更看重新人的哪些特质？
责任心和自驱力（卷王赢麻了）。
还提到了大模型时代，很多问题其实都有解决的方案（相比于搜索引擎时代），就看个人是否有决心完成任务。
腾讯实习生有机会接触到核心业务吗？
可以，不会特别区分对待实习生。
怎么看待大模型，会不会代替掉算法工程师？
当然，要不断学习，但是不用过度担心，大模型也不是万能的。
面试官看着很年轻，也很能聊。
感觉还可以，80%概率进hr面
查看21道真题和解析