1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...

据说三面面试官是团队负责人，平时非常忙，这场面试前前后后约了好几次才终于定下来。 面试时间正好卡在饭点。面试官进来时状态还很饱满，先随口问了我一句：“吃饭了吗？”简单寒暄后，他很快切入正题： “我先给你三道题，你先做。我把晚饭吃了，等会儿还有个会。中间有问题随时开麦问我。” （我虽然听说了字节很忙，但是这是第一次切实体会到“居然忙成这样”…） 说完，他简单交代了题目和要求。 我只回了一句： “……好的，老师。” 三道题分别是：SQL手撕、基础算法、场景题。 SQL已经忘记具体题目； 算法是：链表隔K个元素反转 幸运的是，我整理过一些常见场景题，而那道“4G物理内存给100G文件的排序方法”我刚...