第 16 题:Full Fine-tuning / LoRA / Adapter / Prompt

第 16 题:Full Fine-tuning / LoRA / Adapter / Prompt Tuning 对比

题目

对比 Full Fine-tuning、LoRA、Adapter、Prompt Tuning 的优缺点。

一、Full Fine-tuning(全量微调)

  • 做法:用下游数据更新全部模型参数。
  • 优点:表达能力最强,适合数据充足、任务与预训练差异大的场景。
  • 缺点:显存与算力需求高,易过拟合小数据,多任务需多份完整模型。

二、LoRA(Low-Rank Adaptation)

  • 做法:冻结原权重,只学习低秩增量 ,通常加在 attention 与 FFN 部分。
  • 优点:参数量小、显存省、可多任务多套 切换;推理可合并为单权重。
  • 缺点:秩 需调节;极端任务上可能不如全量。

三、Adapter

  • 做法:在层内插入小模块(如两层线性+激活),只训练 Adapter,主权重冻结。
  • 优点:模块化、易插拔、多任务共享主干、各任务独立 Adapter。
  • 缺点:增加前向深度与少量计算;若每层都加,总参数量仍可观。

四、Prompt Tuning(提示微调)

剩余60%内容,订阅专栏后可继续查看/也可单篇购买

Ai Agent:面试300问 文章被收录于专栏

《AI Agent 300 问》专为备战 AI Agent 相关岗位的求职者打造,适配校招、社招全场景,覆盖算法研发、产品、解决方案等全岗位。专栏汇总 300 道大厂高频面试真题,全维度覆盖提示工程、智能体规划推理、记忆机制、工具调用、多智能体协作、框架落地、行业应用等核心领域,拆解考点底层逻辑,分享一线实战经验,助你一站式通关高薪面试。

全部评论

相关推荐

拼多多暑期octimeline:拼多多服务端研发3.15 笔试3.21 一面4.1   二面挂4.10 一面4.17 HR面4.23 oc字节跳动在官网上投没反应,但是之前忽然看到个内推码,投了以后是日常实习,时间不合适。但是简历进了人才库,都是hr微信找我来面试的,由此开始了奇妙之旅。字节内部运转的很高效,佩服。3.16 一面3.20 二面挂4.15 一面4.16 二面4.20 HR面  HR面过了,但是承认有个拼多多的hr面也过了,字节表示需要明确选字节才走hc审批。部门很好,流程很快,但是权衡之下还是拒了。京东测开3.6   一面3.9   二面挂3.25 一面挂(金融支付的测开面试官好凶,一问三不知,快要自闭了)美团(美团大BOSS~~)3.14 笔试3.26 小象超市一面挂3.30 DAG引擎一面挂4.9   金融业务一面挂4.17 本地商业中台一面过然而并没有什么用,没回人才库,也没二面。感谢美团认可我,让我过一面。三次一面挂,一次一面过,屡败屡战,屡战屡败。美团提高了我的认知,磨炼了我的意志,美团万岁!OPPO3.31 一面挂oppo的一面挂极大地刺激到了我,oppo不考笔试,只考项目,一直以为是大厂招聘要求高,原来是我太菜,我开始反思自己的不足之处,疯狂用ai升级项目,自救。感恩OPPO,点醒了沉睡的人蚂蚁集团3.19 ai coding3.31 一面挂  这是一场kpi面,面试官没有开摄像头。3.31下午的OPPO,3.31晚上的蚂蚁kpi,让我彻底意识到自己的菜。虽然是一场kpi面,但是我忍了一个小时之后,等到反问环节,向面试官求助,请求指出我的问题在哪里。问题很多,面试官一针见血地指出了一个问题。我决定升级一下项目,而不是停留在学习项目、demo项目。但是第二天4.1上午10:00就是拼多多二面,我还没重构多少,就带着绝望的心情面拼多多。面到15min,我之前的玩具项目就被面试官问穿了,心态崩了,直接请求面试官给我的项目一点建议,指出我的问题,给点改进的方向。面试官很生气,说面试还没有结束,这种话本不应该现在说。但是既然说了,他还是指出了我的问题,给了几条建议、指点。最后还指出我不仅要提高项目,还要练习语言表达能力。感恩拼多多,彻底被多多征服了携程集团3.13  笔试4道ac 从此进入人才库阿里巴巴一开始不怎么会agent,没敢投。4.21 测评4天后才笔试,下周一才面AI SRE,面着玩吧。华为软开4.8   笔试4.10 心理测评挂  刚刚燃起的希望又幻灭了,“点击即送”的都没有把握住,又是一个小低谷。华为,我对你有了新的认识。招银网络4.15 测评4.23 一面 今天刚面完,不知道结果同花顺4.15笔试、测评4.23喜提感谢信  同花顺笔试还挺有意思海康威视4.16笔试、测评  后续没反应简历挂:快手、哔哩哔哩、米哈游、美的集团、小米集团、滴滴、SHEIN总体来讲3.31-4.1痛苦达到了峰值,不在低谷中爆发,就在低谷中灭亡。求职好难,还过的去的bg让我在白板状态下也能获得面试机会,打了一年leetcode周赛让我对笔试和手撕无所畏惧,获得了有笔试门槛的公司的机会(拼多多、美团)。但是机会来了,面对机会,要想办法把握住。祝牛友们求职顺利,我这种水平一般的都能找到暑期,现在没找到的、还在煎熬着的牛友们也一定能行,不要放弃
江海寄余生Y:pdd挂了还可以捞嘛
点赞 评论 收藏
分享
头像
昨天 15:11
已编辑
华东师范大学 算法工程师
暑期实习从2月开始投,面了两个月,流程该挂的都挂完了,腾讯字节一共号称是1.7w个hc,不知道都发给谁了,估计今年秋招要难顶。Timeline米哈游、美团、蚂蚁、微软等公司直接简历挂穿,没进面。携程:3.3 投递、测评3.12 笔试3.18 一面3.25 二面4.13 ai面(hr面)4.14 英语测评4.23 offer(已拒)腾讯:2.6 测评2.28 wxg一面3.5 wxg二面(挂)3.11 teg一面3.21 teg二面(取消)3.31 teg一面4.10 teg二面(挂)4.21 wxg一面4.24 wxg二面(挂)字节:1.28 aml约面(取消)3.17 火山一面(挂)4.8 aml一面(挂)4.20 抖音data一面(挂)阿里:3.23 投递、测评3.28 笔试3.31 淘天一面4.8 钉钉一面4.9 淘天二面4.10 阿里控股一面4.12 钉钉二面(取消)4.15 淘天hr面4.16 淘天offer(已接)4.21 高德一面(取消)4.22 淘宝闪购一面(取消)面试最大的感触是,现在撞上ai转型,一堆老业务急着转向,新业务非常不成熟,研究型的组bar非常高根本进不去,业务侧挂着算法的岗位干的都是工程活,面试却又要问算法,另外agent的落地也远没有那么广,绝大多数还是那套写死的系统调一下llm api或者做做rag,其余少部分真的在搭agent的,基本不能在线上服务用什么很智能的模型,现阶段成本太高,进去大概率就是给垃圾模型从工程方面兜底,除了业务场景的应用和数据经验以外,技术方面很难有什么提升。算法岗做不了基模的还是去搜广推好,之前判断失误了完全没投,秋招不知道还进不进得去。
绿糖滑稽:携程这什么雷霆流程时长
我的求职进度条
点赞 评论 收藏
分享
04-24 14:38
门头沟学院 C++
26应届的,两个总包基本一样:1、百度智能云,n*16 + x qzf,x分两年拿,组内业务包括开发维护一个中台,承载一些内部ai服务,同时也有一定的公有云业务。平台日均调用量大概是21亿。工作强度10 8 5。**优点:提前实习过了,组内氛围还行,mt和ld比较好说话,强度相对低点。另外我拿到字节offer后ld表示比较希望我留下。智能云做为百度还在增长的部门,相对还比较稳?去年年底广进影响相对小。还有和ai算是沾点边,组内后续会做一些推理引擎相关中间件**缺点:技术感觉比较老,代码也旧很少迭代,go版本甚至在1.13,总体没什么新需求。和ai有关但是和llm关系不算大。平台上大部分是传统视觉模型,llm有一些但不多,而且参数量都比较小,基本是单机单卡部署。部署实际是调用厂内paas服务去做,并不由我们直接负责,不太能接触到底层。最后就是百度整体风评一般,不知道会不会影响简历认可度2、字节抖音服务架构,n+2 * 15 + x/2 qzf,x/2 第一年拿。中间件方向,为抖音直播和短视频做支撑,有两个可选的小方向,感觉也是中台。工作强度10 10 5:a. 消息与调度:主要负责MQ相关的中间件和调度系统b. 流量与接入:主要负责业务网关中间件和长连接**优点:抖音算是比较核心的业务?数据规模应该非常大。然后字节title比较大,总体认可度会高点?**缺点:应该也算中台,比较偏传统,开发运维oncall啥都有(这个百度也一样),看起来是在底层mq基础上进行类似二次包装,而不是写mq的。和llm结合的情况看起来不太好说,那边表示“如果不自己选的话,会倾向安排你来消息与调度方向,基于LLM做MQ中间件的一些场景落地,比如消息积压诊断”,差不多是做运维机器人...?然后一面面试官是我将来的mentor,看起来比较不苟言笑,有打断我说话的情况,但也没有很粗暴打断,大概是对我讲的项目没那么感兴趣,表面看起来没有百度mentor好相处的样子。结合字节的培养情况感觉landing难度未知,有开盲盒风险两个业务看起来都比较普通。个人bg在当下比较一般,二本+211硕,不知道应该在百度苟一苟,还是尽快通过字节成长并获取简历背书,想问问各位会怎么选择。以及这些业务后续跳槽/活水换方向难吗?
offer帮选
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务