26秋招字节推荐算法凉经

一面 1.sft数据长什么样，困难case是什么样？2.有没有考虑做数据增广，有哪些数据增广的方式？3.query不规范，导致召回难度大，如何解决？4.如果原始训练数据当中存在大量噪声，如何去除这些噪声对模型的影响？5.手撕：爬楼梯二面：1.RAG系统的架构，每一个模块的作用，文本截断的长度是多少？2.除了向量召回和关键词召回，还有哪些召回方式，了不了解全文召回，如何做的？3.向量召回，关键词召回，实体召回等不同召回链路召回的结果如何合并，哪一个优先级更高？4.query改写之后改写成什么形式去召回？5.DPO的原理，损失函数如何计算？6.GRPO的原理，损失函数如何计算？7.在linux系统当中查看端口是否被占用的命令行是什么？8.让进程在后台运行的命令行是什么？9.如何快速对一个list去重，如果list的长度非常长（且不改变数据格式）10.手撕：最长回文子串

两个offer总包相近，想听听大家对于两个方向的看法（比如前景），十分感谢！字节营销算法 总包60左右小鹏自动驾驶算法 总包60左右

1.如果训练出来的模型在某一类任务上表现比较差，如何解决这个问题？2.如果DPO训练的过程中发现loss不降，如何定位原因？从数据构造和训练参数两个角度分析。3.有没有尝试过动态prompt，训练数据如何构造，如何保证policy正确？4.如果想把判别式任务转化成生成式任务，学术界有哪些常用方法，哪一种效果比较好有对比过吗？5.数据的难度分层是如何做的，为什么没使用困惑度？6.如何确保分层的准确性，用大模型进行分层为什么没有尝试更大的模型？7.做CPT时的数据量级，数据处理的pipeline？8.CPT的数据配比是什么样的，有没有考虑CPT后通用能力的退化问题？如何检验CPT后模型的通用能力？手撕：1、寻找重复数（转化成环形链表找入口来求解）2、手撕对比学习的loss计算3、手撕多头注意力

1.实习介绍2.简历拷打3.除了MMOE还用过其他的方案吗？cgc或者ple有尝试过吗？4.如何解决mmoe输出特征一样，专家的参数最终会趋于一致的现象？在网络参数随机初始化的情况下，不会发生问题中提到的问题。核心原因在于数据存在multi-view，只要每一个expert网络参数初始化是不一样的，就会导致每一个expert学到数据中不同的view。5.多任务loss调整中回归损失会主导训练任务是怎么处理的？在我的场景中是采用包序累积多分类替代了回归，也可以通过映射label上界或者禁止回传的方法，都试过。6.transformer的参数量是多少？层数（L）：Encoder/Decoder 的堆叠层数注意力头数（H）：多头注意力 的并行任务数隐藏层大小（D）：特征向量的维度序列长度（T）：输入/输出的最大 token 数 公式：总参数量 ≈ L×(4D^2+2D×H×T)7.介绍一下encoder和decoder？Encoder（编码器）作用：将输入序列（如文本）转换为上下文相关的表示向量。Decoder（解码器）作用：根据编码器输出生成目标序列（如翻译或回答）。8.在你场景中用的是二阶段的训练如何调整成一阶段的？代码 给一个整数数组a，对a中的相邻整数进行浮点除法，如a=[2,3,4]，即为2/3/4 在任意位置添加任意数目的括号，来改变算数的优先级，使得值最大，输出表达式