测开的xdm不用担心35危机了

1. 你做过大模型数据处理的话，预训练数据清洗一般怎么做，去重、去噪、质量过滤分别解决什么问题？预训练数据清洗本质上是在控制“数据量”和“数据质量”之间的平衡。去重主要解决模型反复记忆同一批内容，避免浪费训练 token，也减少 benchmark 污染。去噪主要是过滤乱码、模板页、广告页、低信息密度文本、机器生成垃圾内容，不然模型会学到很差的语言模式。质量过滤更偏向保留高价值内容，比如结构完整、语义通顺、知识密度高、代码块规范或者问答对明确的数据。实际工程里一般不会只靠一个规则，而是多阶段处理：先做规则清洗，再做语言识别、长度过滤、内容打分，最后再结合 dedup 和采样策略。因为预训练效果...

想找个暑期实习，求大佬们拷打简历

明天下午面这家，jd写的很高，有点害怕

山西到赣州的火车上面慢慢的翻开《软件工程师生存指南》。一本书的作用每个人所汲取的知识程度不同。自信与经验 美国的软件工程师定义生存指南。软件工程师工作职位行业的薪资水平一直是不同领域排名第一。大学本科毕业的时候去过上海找工作。上海的地铁更多交通十分方便。第一次的编程技术面试并不是十分好。结果确实是出人意料有公司HR的口头offer。  上海国际大都市金融商圈积聚很多的银行投资人才。网上投简历继续不同公司的面试。亲戚表哥江西师范大学计算机本科毕业。年龄差距两轮他购买银行的金融投资衍生产品。人情事故年轻人看得更轻。2020年的时候去上海银联总部工作。工作压力十分大离职回到广州。当时去过一些上海的高...