字节实习面试手撕

1.自我介绍；2.本科毕设项目介绍；3.Retinaface和Facenet的具体网络模型；4.Retinaface是如何检测人脸的，Facenet是如何识别人脸的；5.项目的创新点有什么，评判指标是什么；6.检测和识别用的时间，其中esp8266，mg996r分别是做什么用的；7.大模型量化比赛项目介绍；8.AWQ和GPTQ是什么；9.什么模型适合用AWQ，什么模型适合用GPTQ；10.其中最优的参数是怎么得到的；11.llm- benchmarker怎么用的，是什么评判指标；12.了解算子吗？（marlin kernel）详细说一下这个算子是什么；13.除了量化其他的方法了解吗？（压缩、减枝、LoRA）14.LoRA是什么；QLoRA是什么？为什么要用LoRA；15.具体的原理是怎么样的；16.如何将LoRA结合到TransFormer各个层？17.介绍一下TransFormer的架构；18.Encoder和Decoder是由什么组成的；19.MHA细节是怎么样的(QKV)，softmax是干什么用的；20.单头注意力和多头注意力有什么区别；21.为什么MHA下面要除根号d；22.潜在多头注意力了解吗，多头注意力的作用；23.FFN详细说一下；24.残差链接有什么用；25.Layer Normalization有什么用；26.Layer Normalization和Batch  Normalization的区别；27.Qwen3的基础架构是怎么样的；28.Qwen3和Qwen2.5相比有什么区别；29.Qwen3和DeepSeek有多少个头；30.大模型要训练出思维链应该如何训练；31.如何平衡精度和推理速度，怎么做trade off的；32.了解Agent吗，做过什么agent项目33.Dense模型是什么；34.MoE、MLA是什么，详细讲一下；35.LoRA的偏置矩阵详细说一下，为什么LoRA初始化A要正态分布，B要初始化为0；36.秩是什么意思；怎么理解；37.Qwen3哪里做的好；38.快手实习项目介绍；39.经纬恒润实习项目介绍；40.了解量化交易吗；41.你平时做交易是趋势还是阶段？------二更已oc

如题，以前听说字节面评很严格，但是现在又看到很多人说，字节是投就有面试，仿佛没什么面评一样，我记得看到过字节官方也说过没有面评，所以，到底是什么情况呢？Ps:是因为我现在正在实习，刚一个月，正要写需求了。但是又接到了抖音的agent实习面试邀请，不知道走还是不走。

1.CV和NLP的区别与联系2.在Transformer框架下，CV、NLP、语音是否可能统一？3.大模型训练数据清洗、处理、配比的方法4.大模型训练如何更容易提升模型性能5.Encoder与decoder的中Attention区别?6.Attention如何计算?为什么除以根号下Dk?mask attention是如何实现的?7.讲GQA、MQA、MLA原理。8.为什么要用位置编码?为什么要用sin_cos?9.问之前实习的Agent的设计逻辑，问创新方法的实现。10.你提到用DeepSpeed做SFT训练，请讲一下DeepSpeedZeROStage1-3的区别，以及什么时候用FSDP会更好?11.什么是大模型的幻觉，如何缓解12.为什么会有复读问题，业内有哪些解决办法13.大模型工具调用的实现方式14.Agent的组成部分及实现方法15.问Agent的工具tool的设计，是否是workflow形式。16.了解哪些agent开发框架，例如langchain和Llamalndex，核心应用场景有何不同?17.问数据的输入输出格式如何保证大模型输出稳定的json做了哪些工作?18.开放题:你在大模型训练中遇到过的困难，如何解决?19.代码题:实现一个Tokenizer

1.介绍下self-attention，计算其时间复杂度。2.为什么要用multi-head attention？3.PPO的clip机制？在线强化学习和离线强化学习有什么区别？RLHF是哪一种？4.为什么要用reference model? 为了解决什么问题？5.如何让多个agent协同工作的？举个具体的协同机制例子。6.如果一个agent误判导致策略冲突，如何处理？7.有没有用到类似AutoGen或LangChain的框架？为什么选这个框架？8.你是怎么设计agent的记忆系统？9.长期记忆如何存储？如果历史记录量非常大，怎么优化查询效率？10.有没有做记忆衰退，避免旧数据干扰新任务？11.你们这种模块堆叠的架构是怎么设计视觉问答模块和动作模块的协同逻辑的？12.human feedback是怎么被agent消化吸收的？有没有用rl进行策略更新？13.有没有做过模型压缩？比如在车载端或低端设备上的推理加速？14.如果量化后理解能力下降怎么办？怎么做精度补偿？15.你怎么处理响应速度与推理精度之间的tradeoff？是先召回再精排，还是单次生成？