2024-08-20 10:09 已编辑 南京航空航天大学 算法工程师 发布于江苏
关注
大佬们问个问题
1.预训练的损失函数和微调的损失函数计算有什么不同？关注点有什么差异？
2.预训练后的模型获得了什么样的能力？微调后又获得了什么样能力？
昨天面试的时候被问到了😭
1.预训练的损失函数和微调的损失函数计算有什么不同？关注点有什么差异？
2.预训练后的模型获得了什么样的能力？微调后又获得了什么样能力？
昨天面试的时候被问到了😭
全部评论
爱打瞌睡的柯基
门头沟学院 自然语言处理
预训练所有token位置都计算损失、SFT一般只有答案部分计算损失（提问部分label是-100）
预训练是为了吃知识、SFT为了指令遵循
CovetousC
天津大学 算法工程师
这个预训练是指的视觉编码器的预训练，还是mllm的第一阶段预训练
希望有好offer
北京工业大学 算法工程师
预训练和微调的任务不同损失函数肯定会不同吧？预训练不都是自回归而微调可能会根据下游任务设计不同的损失函数
相关推荐
投递米哈游等公司10个岗位 07-10 17:26
南京工业职业技术大学 机械设计/制造 
机械打工仔：不管啥专业，找工作改简历的第一课先把你那排版改了，简历上不要写个人简历四个字，找你要简历的谁不知道这个是简历？而且还占那么多空间，直接把自己名字和基础信息写上面，整体字体大一些。
还有这种经典两页简历一页大空白，导出PDF的时候多了一页几乎全是白的你自己看着不难受吗
随手的事为啥不能改掉呢，这是态度问题，你试想一下你是HR你打开简历看到格式都没调整过会是什么感受？你自己都不重视你的简历，HR更不会在意。
然后内容你那个做两年咖啡就别往里写了，简历在精不在多，你在往你的简历里打字的时候就要想好这东西对你要找的工作有没有帮助。自我评价写一行就行了，不如给专业技能单开一栏。核心课程均分90这个真别写了，把你上过的有用的专业课列出来也行。有很多地方废话很多的精炼一下，比如你校内项目第一个写的那些，全然没有重点。
好好修改一下，我看你内容也挺优秀的，别被一个随便做的简历耽误了，我一个同专业的打工人看了都揪心更别说一天看几百份简历的HR 点赞 评论 收藏
分享
08-13 11:44
门头沟学院 Java 点赞 评论 收藏
分享
