字节算法一面面经

实习项目提问
用的模型参数量有多大?
Prompt engineering的方法?有没有自动化的方法?
有什么方法避免出现安全问题和幻觉问题?
Transformer结构
decoder部分训练和推理有什么区别?
decoder预测时i位置预测出来了,然后预测i+1位置,那么是用i位置的token结果还是概率结果?为什么?
Decoder only参数量估计
FFN中一般把d扩大到多少?
KV-cache的空间复杂度
为什么用MMOE?从scaling law的角度去回答
code:编辑距离
全部评论

相关推荐

一、手撕 题目:给定一个字符串 s 和一个整数 k,每隔 k 个字符反转一次,返回最终字符串。简单很快就写出来了二、八股1.自注意力机制是什么?计算复杂度怎么算?吟唱: 通过query-key相似度计算权重,对value加权求和,建模长距离依赖。O(n平方)n为序列长度。2.KV-Cache的如何加速推理?继续吟唱:生成时缓存已经计算过的kv,避免重复计算。3.LoRA的原理是什么?与P-Tuning、Adapter的异同点?LoRA的参数选择对模型性能有何影响?三连吟唱:原理是冻结原始权重,训练低秩矩阵参数。异同在于lora训练参数,p-tuning只优化了prompt嵌入。4.介绍下RLHF的基本流程,与DPO的差异是什么?主动吟唱:RLHF三段式,sft用高质量数据集微调,rm训练对比学习模型用于打分,ppo通过rl泛化增强。dpo直接优化偏好数据,省去rm和ppo。5.分布式训练中的TP、PP、DP分别是什么?TP按tensor维度拆分,PP按网络层数分段流水线执行,DP数据并行,复制模型副本分散计算6.flash-attention的原理是什么?这里回答没太好,只讲了通过内存层次结构什么的减少I/O瓶颈7.DeepSeek的MoA架构与MoE有何区别?moe通过门控机制选择专家子网络,参数规模增加但训练难度大。moa则用多个agent回答,通过数据迭代优化,缓解偏科。8.如何处理数据不均衡问题?上采样小样本,课程学习三、项目与实习1.agent实习主要负责哪些模块?动作规划,memory经验,evaluation pipeline,后训练,很多模块都参与了,面试官也挺震惊哈哈。这里聊比较多就不po了。2.记忆系统如何实现视觉-语言特征对齐?clip映射到联合embbeding上3.如果视觉模块误判,如何通过语言纠错?检测矛盾关键字,通过反馈触发重试。4.具体讲讲怎么构建evaluation pipeline的?做了数据爬取,版本控制,llm打分
查看13道真题和解析
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务