字节大模型算法实习一面 1h

1.实习介绍
2.论文工作介绍
3.为什么构建这个benchmark
4.构建数据集的时候遇到哪些问题,怎么解决
5.选择这个微调模型的原因
6.mplug的框架
7.视觉编码器用的什么
8.线性投影层具体情况
9.qwen2的结构
10.transformer的计算
11.了不了解其他的transformer或者attention
12.用了多少卡
13.怎么做的分布式训练
14.zero3不适合训练使用的原因
15.介绍论文的多阶段CoT微调
16.lora的原理
17.lora的初始化
18.矩阵B 为什么用0初始化
19.手撕:一个字符串中出现次数最多的字符以及次数
20.反问的时候还问了强化学习的原理
全部评论
字节实习一共几面
点赞 回复 分享
发布于 2025-12-27 09:27 北京

相关推荐

1.GAN和Transformer 这两个分别在你的项目里承担了哪些作用?这两个是怎么帮助你推动模型进行图像或者视频重建并提升性能?2.你的GAN以及生成器和判别器主要负责什么工作的,讲一下他们的核心作用以及怎么协同的3.你做项目的时候是先用的生成器还是判别器,为什么要这样设计呢?4.你的轻量化参差模块在优化Swin transformer发挥的什么作用?5.计算机视觉中多尺度融合是什么含义6.为什么深层次神经网络中提取的图像特征被称为”语义特征”?怎么处理图片信息的,多尺度特征的提取怎么提升的模型性能,你用了什么技术和算法框架去实现的7.在你处理模型时用的什么注意力机制,在大模型图像处理项目时这些模块在整体架构分别承担了什么职责?8.你在里面用的对抗损失函数怎么设计的,怎么结合别的模块使用的9.你用的WGAN,他和原始的GAN是怎么改进梯度问题的,以及损失函数中梯度惩罚项怎么实现的Lipschitz约束10.你说一下逻辑回归他的原理还有适用场景以及如何实现的11.在逻辑回归中,我们一般用交叉墒损失函数,你可以说一下为什么吗?12.你结合一下逻辑回归二分类任务,说一下为什么这种情况经常使用交叉墒损失而不是均方误差损失呢?13.L1L2正则化在机器学习模型中的作用是什么(这里要求写数学公式)14.请详细介绍一下PPO这个在强化学习中的策略优化算法,主要思路和流程是什么15.在PPO的算法损失函数中,有两个操作,一个是clip,还有一个是min,请你说一下这两个操作的方式作用还有他们在PPO中的意义。16.在PPO算法的损失函数设计中,cilp的操作已经能够限制策略更新的幅度确保稳定性,为什么还需要在损失计算中取原始的目标和clip的较小值?如果只保留clip部分,不取较小值会有什么问题?
查看16道真题和解析
点赞 评论 收藏
分享
评论
2
3
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务