京东搜索广告多目标bidword生成模型

1️⃣数据方面
数据可以说是整个项目中最重要的一个环节，是决定项目成败的最关键因素，目前主流的观点认为，数据的质量和多样性比数据的量级更加重要，大量的噪声和单一的数据构成都会使得模型训练产生偏误。第一，先抛弃掉互联网上随处可见的训练数据， “自制”数据集的最大优势，不在于数据量的庞大，而在于它们独特且贴近实际业务场景。这不仅能体现你的技术动手能力，更能展示你对业务的敏感度和创新意识。哪怕你只爬取了几百条数据，依然会有很不错的效果。在实际工作中（对于Post Training方向），数据处理也是接触的最频繁的工作。面对纷繁复杂、体量巨大的原始数据，如何精准筛选出高价值的部分（如果数量不足，如何使用合成数据的方法补充体量），并高效通过处理流程，正是一个微调项目中最精华的部分，微调技术的选用相比之下都称得上是细枝末节。

2️⃣评测方面
面试官想要听到的，是你是否有科学、系统的评测方法，能用客观的数据和标准来说明你的模型效果。比如：你有没有设计一套评测集，来检测模型对于不同语境的还原能力？你有没有和原始未微调的模型做对比，看微调前后在同一组输入下的输出差异？你有没有用自动化指标来衡量模型生成内容和原始语料的相似度？
这是真正重要的技术检验方法，也是评测方法必须放在微调之前的原因。毕竟，如果原版模型就能在评测集上做到90%以上的相似度，再怎么微调，在人的感官上也是相差无几的。你需要有一个大模型目前掌握得不好的测评集，才有在指标上提高的空间。当然，对于一个玩具项目来说，能做到有评测集、有一个以上的评价指标、有对比试验就已经很不错了。

3️⃣调参方面
调参很有用，但是数据更加重要。调参解决的是“怎么把现有数据学得更好”，而数据优化解决的却是“模型到底要学什么”。别把所有的希望都寄托在参数上。与其在显卡前焦虑地等待下一组实验结果，不如多花一点时间，和你的数据、你的业务、你的评测集聊聊天。
📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。