听劝听劝!!

1. 你做过大模型数据处理的话，预训练数据清洗一般怎么做，去重、去噪、质量过滤分别解决什么问题？预训练数据清洗本质上是在控制“数据量”和“数据质量”之间的平衡。去重主要解决模型反复记忆同一批内容，避免浪费训练 token，也减少 benchmark 污染。去噪主要是过滤乱码、模板页、广告页、低信息密度文本、机器生成垃圾内容，不然模型会学到很差的语言模式。质量过滤更偏向保留高价值内容，比如结构完整、语义通顺、知识密度高、代码块规范或者问答对明确的数据。实际工程里一般不会只靠一个规则，而是多阶段处理：先做规则清洗，再做语言识别、长度过滤、内容打分，最后再结合 dedup 和采样策略。因为预训练效果...

研二在读想找AI agent方面暑期实习，想看下简历是否还能有优化的

xdm，我今天突然乐观了。 前两天一哥们私聊我，问要不要加入他的初创团队，做兼职。哥们对自己的项目非常的自信。大意是他做产品，负责调研市场，出方案，我干其中一部分活，做完项目之后挂平台卖，按成交量分成。画了一张非常大的饼：现在有完善的方案，我们只需要每天3-5小时，大概5天就做成一个项目，卖出一单后分成至少1w。 算日薪很高，对不对？ 在我看到他的方案之前一切都正常。方案是邮件发给我的，字数还挺多，分工和步骤都挺明确的——好了，这就是全部的优点了。 他熬夜写出来的这个方案的可行性几乎为0。他想要训练一个模型，但市面上根本没数据，他的星期项目团队也当然是没有实验室来获取数据；他想验证模型鲁棒性，...