远景内推远景面经

第 15 题：LoRA（Low-Rank Adaptation）的数学原理 题目 解释 LoRA（Low-Rank Adaptation）微调的数学原理。 一、动机 全量微调大模型要更新全部参数，显存与算力成本高。LoRA 假设预训练权重在适应新任务时，有效更新是低秩的，因此只学习一个低秩增量，与原权重相加得到适应后的权重，从而大幅减少可训练参数与显存。 二、数学形式 设某层线性变换为 ，。LoRA 不直接改 ，而是增加低秩分解的增量：  其中 ，， 为秩。前向时：   训练：只训练 、， 冻结；参数量从  变为 。 推理：可把  算好存成一张矩阵，等价于单层线性，无额外延迟；或保留  分开算...

2年了

鼠鼠有点摆，去年边学着没敢投简历，没实习。从1月到现在总共面了五次，四次字节的日常(HR打电话约面试才敢去的)，然后一次腾讯的暑期，都是一面挂，其他则是没给面。暑期的岗，4.2才开始海投，前面想着等字节第四次一面后再投，结果挂，而且感觉投晚了。字节投了11个，9个简历挂，剩下2个没动静。阿里全都简历挂，剩下的在"投递简历"。腾讯给了一次面。然后其他大中厂、手机厂什么的都是做完测评or笔试就没下文，打开几个看也是终止流程，感觉剩下的也应该是简历挂了。感觉是简历的原因？项目部分，几次面试，感觉面试官主要就拷问过秒杀这一个点。自己说的时候会尝试把sse那条说成亮点，但除了腾讯面试官问过一下这整个点在业务方面对用户有什么用之类的问题外，其他最多只是问一下sse八股...感觉也许不是很让面试官感兴趣。这个短链接也是无人问津，就被问过一回雪花算法的设计。也许我该拿点评改改，然后再在网上找一个什么项目，凑两个，而不是用自己现在这两个项目？或者是点评改改放前面，然后原本第一个项目，把秒杀抽掉，剩下的想办法从网上火的RAG项目里移植点亮点，或者直接就用网上的RAG项目？感觉我主要还是偏向后端开发，但是感觉如果除开点评，再拿一个项目，想不到有什么自己能掌控且跟点评不重的。然后鼠鼠之前主要的问题是担心面试让打开项目演示，然后就一直花时间在用AI整第一个项目，第二个项目都没时间整，第四次面试之前还因为太害怕被认为不熟悉项目，跟AI一起把简历的说辞做了大幅度弱化，然后暑期都是拿弱化后的简历投的，感觉是不是看上去太没有吸引力就直接给简历挂了。(图1是弱化后的，图2是弱化前的，但之前3月初投了几家好像也是简历挂。)而且因为3月花了很多时间整在跟AI整代码，导致八股和算法都没怎么看，算法之前有跟灵神题单刷一些，还算入门，但是八股只看了一些基本的，可能面试的时候只答得上来60-70%，而且表述有些混乱，都是想到哪说到哪；前面几回面试基本上都有大板块的基础八股没答出来，比如RedisZ Set数据结构，MQ延时消息、可靠性保证，JVM内存分配的过程、GC roots，JUC锁，设计模式。现在有点不知道该怎么办。求大佬们给点简历修改建议或者面试准备建议，不胜感激！

暑期找了一个月左右，最后拿到腾讯cdg的offer了。个人感觉现在暑期后端确实是很卷，可能是因为后端的hc在逐渐缩小吧。普通本科生面试机会相对会少很多，本人之前有一段百度实习，但是也过不了很多公司的简历。对于面试过程，感觉有了实习之后面试官会减少问八股，甚至不问，都是一些实习的深度拷问或者问延申的一些场景题。感觉有一段能跟面试官聊的实习经历还是很重要的，另外就是ai相关的也很重要，需要持续学习。面试经常会被问到具体的ai相关实践，一些概念，还有对ai的个人见解等。timeline4.1约面 4.3一面 4.9二面 4.15三面 4.16HR面 4.20转录用评估 4.21oc