京东搜索广告多目标bidword生成模型
1️⃣数据方面
数据可以说是整个项目中最重要的一个环节,是决定项目成败的最关键因素,目前主流的观点认为,数据的质量和多样性比数据的量级更加重要,大量的噪声和单一的数据构成都会使得模型训练产生偏误。第一,先抛弃掉互联网上随处可见的训练数据, “自制”数据集的最大优势,不在于数据量的庞大,而在于它们独特且贴近实际业务场景。这不仅能体现你的技术动手能力,更能展示你对业务的敏感度和创新意识。哪怕你只爬取了几百条数据,依然会有很不错的效果。在实际工作中(对于Post Training方向),数据处理也是接触的最频繁的工作。面对纷繁复杂、体量巨大的原始数据,如何精准筛选出高价值的部分(如果数量不足,如何使用合成数据的方法补充体量),并高效通过处理流程,正是一个微调项目中最精华的部分,微调技术的选用相比之下都称得上是细枝末节。
2️⃣评测方面
面试官想要听到的,是你是否有科学、系统的评测方法,能用客观的数据和标准来说明你的模型效果。比如:你有没有设计一套评测集,来检测模型对于不同语境的还原能力?你有没有和原始未微调的模型做对比,看微调前后在同一组输入下的输出差异?你有没有用自动化指标来衡量模型生成内容和原始语料的相似度?
这是真正重要的技术检验方法,也是评测方法必须放在微调之前的原因。毕竟,如果原版模型就能在评测集上做到90%以上的相似度,再怎么微调,在人的感官上也是相差无几的。你需要有一个大模型目前掌握得不好的测评集,才有在指标上提高的空间。当然,对于一个玩具项目来说,能做到有评测集、有一个以上的评价指标、有对比试验就已经很不错了。
3️⃣调参方面
调参很有用,但是数据更加重要。调参解决的是“怎么把现有数据学得更好”,而数据优化解决的却是“模型到底要学什么”。别把所有的希望都寄托在参数上。与其在显卡前焦虑地等待下一组实验结果,不如多花一点时间,和你的数据、你的业务、你的评测集聊聊天。
📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
数据可以说是整个项目中最重要的一个环节,是决定项目成败的最关键因素,目前主流的观点认为,数据的质量和多样性比数据的量级更加重要,大量的噪声和单一的数据构成都会使得模型训练产生偏误。第一,先抛弃掉互联网上随处可见的训练数据, “自制”数据集的最大优势,不在于数据量的庞大,而在于它们独特且贴近实际业务场景。这不仅能体现你的技术动手能力,更能展示你对业务的敏感度和创新意识。哪怕你只爬取了几百条数据,依然会有很不错的效果。在实际工作中(对于Post Training方向),数据处理也是接触的最频繁的工作。面对纷繁复杂、体量巨大的原始数据,如何精准筛选出高价值的部分(如果数量不足,如何使用合成数据的方法补充体量),并高效通过处理流程,正是一个微调项目中最精华的部分,微调技术的选用相比之下都称得上是细枝末节。
2️⃣评测方面
面试官想要听到的,是你是否有科学、系统的评测方法,能用客观的数据和标准来说明你的模型效果。比如:你有没有设计一套评测集,来检测模型对于不同语境的还原能力?你有没有和原始未微调的模型做对比,看微调前后在同一组输入下的输出差异?你有没有用自动化指标来衡量模型生成内容和原始语料的相似度?
这是真正重要的技术检验方法,也是评测方法必须放在微调之前的原因。毕竟,如果原版模型就能在评测集上做到90%以上的相似度,再怎么微调,在人的感官上也是相差无几的。你需要有一个大模型目前掌握得不好的测评集,才有在指标上提高的空间。当然,对于一个玩具项目来说,能做到有评测集、有一个以上的评价指标、有对比试验就已经很不错了。
3️⃣调参方面
调参很有用,但是数据更加重要。调参解决的是“怎么把现有数据学得更好”,而数据优化解决的却是“模型到底要学什么”。别把所有的希望都寄托在参数上。与其在显卡前焦虑地等待下一组实验结果,不如多花一点时间,和你的数据、你的业务、你的评测集聊聊天。
📳对于想求职算法岗的同学,如果想参加高质量项目辅导,提升面试能力,欢迎后台联系。
全部评论
相关推荐
点赞 评论 收藏
分享