预训练数据收集流程隐私过滤是怎么做的怎么用OCR算法解决读取pdf公式语料以及双栏pdf的问题预训练数据集构建中的亮点数据质量评估方式垂域评测集的构建方式微调评测集是怎么做的，全参微调还是lora，lora原理图文模型是怎么做的没有八股，coding是旋转图像和编辑距离二选一。全程都是问项目。团子面试体验太好了，面试官情绪价值拉满，就迟到一分钟但还是道歉，全程点头微笑，快比我还礼貌客气，编程题竟然还能二选一，反问的时候解答的也很有耐心。周五晚面完今天约了晚上二面，过了就卸载饿了么，求团子给个机会吧。

询问项目： 预训练数据清洗流程爬虫数据来源数据挖掘流程继续预训练策略选择评测集是怎么合成的数据配比对模型能力的提升大模型与小模型之间的scaling law图文模型怎么收集数据，怎么制作评测集，怎么数据增强八股问了1F1B的流程，解决了dreampipe什么问题microbatch的意义空泡时间怎么算zero123的区别如果是3D并行zero最多开多少，如果开到2会怎么样他们好像很想要提前实习，从一面到二面一直在提。一天后约HR面。

题目做了一道合并有序数组的代码题，还有一道算概率的数学证明题，都不是很难。八股问了训练集，测试集，验证集，过拟合怎么解决，l1，l2正则化大模型数据清洗流程simhash去重和minihash去重算法细节海明距离（这个忘了）之后问了base地选择，有没有offer啥的。一周后约二面。

关于项目简单问了问……八股问了bpe，beam search，top p，top k。beam search这块的路径概率不太熟，被轻微拷打了一下。无手撕，考了道智力题，秒了。全程20min结束。希望能进个二面吧……

询问了很多项目中数据清洗，质量评估，语料分类的细节，提出了恳切的建议。八股部分就问了一下roc曲线和fasttext原理，roc这实在是不记得了……代码题手撕lc. 122，没什么压力。全程40min结束，许愿一个二面

自我介绍到一半打断了，直接问八股……关注的点和一面一样有点奇怪，特别喜欢问我记不记得base模型的d_models和seq_len以及各种各样的参数……项目里一直纠结我训的1.5B模型，我跟她说我还训了3.8B和72B版本，没让我讲下去，说1.5B已经很大，可以满足我们项目需求了……代码题做了lc. 236的变体最近公共子节点，和lc. 15三数之和，手撕的没什么问题，但这三数之和在一面已经考过一遍了……

微步的三面是技术面，四面是业务面，连在一起连面两个小时（理论上）。也许是为了平衡一二面逆天的难度，微步的三面异常简单，浅浅问了问项目，八股问了几个机器学习算法基本原理，理论上1h但实际30min搞定。业务面实打实问了1个h，主要是各种项目中的问题质询，额外问了些比较常规的大模型相关场景题，，以及对整个AIGC行业的理解。许愿一个HR面。

项目抠的还挺细的，但抠的更多的是和大模型无关的部分，比如fasttext怎么训的呀，原理呀，爬虫怎么部署的，反爬机制如何解决，get和post请求具体是什么区别，hadoop/hive的使用经验。八股浅浅问了transformer结构和peft方法，不需要答得很深。题目做了最长无重复子序列，秒了许愿一个二面

说字节一面简单的报应来了……基本全程围绕项目拷打，对每个步骤的做法和意义都有拷打，问了很多项目在RLHF层面的优化方向，DPO和PPO的trade off方面的问题，答得都不是很好。看到我做了图文模型工作，问我图文模型的路线有啥，我给他吟唱clip blip llava，它说要最前沿的，直接不会。代码题做了链表排序，需要空间复杂度为1的算法，我只会递归归并排序那套，寄。最后明里暗里说我非科班计算机基础不行，他们要计算机理论基础扎实的。反问环节很不耐烦。应该是凉的透透的……

关于项目深度交谈1h，对方应该是深谙大模型训练数据集的专家，被指出一些做的还不够成熟的地方，聊起来收获很多，非常愉快，无八股，无leetcode。许愿一个HR面！

项目问了20min，确实是方向相关的，问的问题比较切中要点，但不至于拷打。八股没问，coding没有，全程20min结束。

项目简单问了问，不算拷打。八股问了lora，transformer encoder，根号dk，只是浅浅说一下就可以了。全程20min结束。

秋招第一挂……-----------------------------------------------------------------------------------------------------------------------------上来项目随便问几个问题，马上开始用numpy撕多层MLP的前向和反向传播，虽然有提示，但确实没及时撕出来。秒挂……虽然我自己菜是菜了点，但这面试安排也多少有点独特……

地狱一样的理论问询，今年秋招最难的一场……数学问了中心极限定理，大数定理，Γ分布和κ分布关系……机器学习问了特征选择，特征归一化，马尔科夫链，gibbs采样，集成学习，选择性偏差，决策树并行计算，xgboost和adaboost样本权重……深度学习问了卷积原理，梯度传播稳定性，BN本质，torch和tensorflow的图理论……大模型问了很多工程上的问题，出现loss spike啦，波峰波谷啦，训练到一半出现异常值啦怎么处理……还有很多理论上的，flash attention v1/v2/v3是怎么解决访存瓶颈的，位置编码外推，从0开始训长文本模型，4D并行通信开销，zero，megatron和deepspeed应用场景，MLA的实践问题……GPU集群问了架构方式，k8s，坏点检测，负载均衡……python问了线程锁，线程池，资源分配，垃圾回收……以上只是我听的懂的问题里的一部分，还有好多已经忘记的和根本没听过的概念感觉微步确实很看重理论基础，应该是相当技术导向的，面试官人也很不错，只是感觉我答的不太好，对我有点无语hh。--------------------------------------------------------------------------------------------------------------------------本来准备说凉经的，但刚写到这被hr告知过了二面了，感谢面试官大哥