嵌入式软开学习路线

1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...

急急急急急急急急急急急急急急

刚刷到字节跳动官方发的消息，确实被这波阵仗吓了一跳。在大家还在纠结今年行情是不是又“寒冬”的时候，字节直接甩出了史上规模最大的转正实习计划——ByteIntern。咱们直接看几个最硬的数，别被花里胡哨的宣传词绕晕了。首先是“量大”。全球招7000多人是什么概念？这几乎是把很多中型互联网公司的总人数都给招进来了。最关键的是，这次的资源分配非常精准：研发岗给了4800多个Offer，占比直接超过六成。说白了，字节今年还是要死磕技术，尤其是产品和AI领域，这对于咱们写代码的同学来说，绝对是今年最厚的一块肥肉。其次是大家最关心的“转正率”。官方直接白纸黑字写了：整体转正率超过50%。这意味着只要你进去了，不划水、正常干，每两个人里就有一个能直接拿校招Offer。对于2027届（2026年9月到2027年8月毕业）的同学来说，这不仅是实习，这简直就是通往大厂的快捷通道。不过，我也得泼盆冷水。坑位多，不代表门槛低。字节的实习面试出了名的爱考算法和工程实操，尤其是今年重点倾斜AI方向，如果你简历里有和AI相关的项目，优势还是有的。而且，转正率50%也意味着剩下那50%的人是陪跑的，进去之后的考核压力肯定不小。一句话总结： 27届的兄弟们，别犹豫了。今年字节这是铁了心要抢提前批的人才，现在投递就是占坑。与其等到明年秋招去千军万马挤独木桥，不如现在进去先占个工位，把转正名额攥在手里。

1. 你做过大模型数据处理的话，预训练数据清洗一般怎么做，去重、去噪、质量过滤分别解决什么问题？预训练数据清洗本质上是在控制“数据量”和“数据质量”之间的平衡。去重主要解决模型反复记忆同一批内容，避免浪费训练 token，也减少 benchmark 污染。去噪主要是过滤乱码、模板页、广告页、低信息密度文本、机器生成垃圾内容，不然模型会学到很差的语言模式。质量过滤更偏向保留高价值内容，比如结构完整、语义通顺、知识密度高、代码块规范或者问答对明确的数据。实际工程里一般不会只靠一个规则，而是多阶段处理：先做规则清洗，再做语言识别、长度过滤、内容打分，最后再结合 dedup 和采样策略。因为预训练效果...