中电38所咨询

1. 你做过大模型数据处理的话，预训练数据清洗一般怎么做，去重、去噪、质量过滤分别解决什么问题？预训练数据清洗本质上是在控制“数据量”和“数据质量”之间的平衡。去重主要解决模型反复记忆同一批内容，避免浪费训练 token，也减少 benchmark 污染。去噪主要是过滤乱码、模板页、广告页、低信息密度文本、机器生成垃圾内容，不然模型会学到很差的语言模式。质量过滤更偏向保留高价值内容，比如结构完整、语义通顺、知识密度高、代码块规范或者问答对明确的数据。实际工程里一般不会只靠一个规则，而是多阶段处理：先做规则清洗，再做语言识别、长度过滤、内容打分，最后再结合 dedup 和采样策略。因为预训练效果...

boss打招呼了快500，简历投了40多份，结果到现在就只有一个外包和一个几十人小厂约面，大部分都是已读不回，或者要了简历就没下文了。不知道是我的简历写的有问题还是打招呼的方式不对，又或者学历的问题，真不知道该咋办了 …………

面试官人非常好, 我描述不清还会做总结, 问题全来自简历, 没有为难人, 全程体验很棒, 但是寄了主要都在问项目, 中间穿插了部分八股 1. 进行自我介绍(Tiktok组, 所以要求做英文的自我介绍, 但这个不是卡点) 2. 进行项目拷打 3. 讲一讲MySQL里的事务(着重讲解MVCC的底层机制) 4. 讲一讲RocketMQ是怎么保证消息不丢失的(生产者, broker, 消费者) 5. 出了个场景题, 假设Tiktok有大量评论, 需要按顺序归档, 打包成顺序消息, 但是消费端消费不来该怎么办 6. 我项目用到了向量库, 面试官问了嘴, 怎么保证数据库和向量库数据一致性, 解决脏数据问题...