中电52所

1. 你做过大模型数据处理的话，预训练数据清洗一般怎么做，去重、去噪、质量过滤分别解决什么问题？预训练数据清洗本质上是在控制“数据量”和“数据质量”之间的平衡。去重主要解决模型反复记忆同一批内容，避免浪费训练 token，也减少 benchmark 污染。去噪主要是过滤乱码、模板页、广告页、低信息密度文本、机器生成垃圾内容，不然模型会学到很差的语言模式。质量过滤更偏向保留高价值内容，比如结构完整、语义通顺、知识密度高、代码块规范或者问答对明确的数据。实际工程里一般不会只靠一个规则，而是多阶段处理：先做规则清洗，再做语言识别、长度过滤、内容打分，最后再结合 dedup 和采样策略。因为预训练效果...

大四上学期在某厂实习了三个月，说说真实感受吧。进去之前幻想的是参与核心项目、接触前沿技术。实际上每天就是写一些边角需求，改改前人的代码，开不完的会。mentor人挺好但也很忙，大部分时间还是自己摸索。最大的感触是：大厂没有想象中那么光鲜。工位很挤，实习生能接触到的东西真的有限，很多核心代码权限都没有。现在春招我反而没那么执着大厂了，更看重具体做什么、团队氛围怎么样。实习过一次之后你就会发现，公司名字真的只是个壳子，每天干的活才是实实在在的。

我认为实习产出很多时候是带有一定“包装”的，这其实很正常。因为在公司里，实习生往往很难直接参与核心项目，大多数时间只能做一些辅助性工作，比如调试、文档整理或者小模块开发。这些内容本身不够“亮眼”，但在写简历或总结时，又需要体现价值，所以就会进行一定程度的优化表达。我觉得关键不在于是否包装，而在于是否真实，只要没有夸大或造假，而是基于实际经历进行提炼和总结，就是合理的，也是必要的能力。