1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...

看来得重新踏上征程了。后悔之前oc之后没有走其他的流程。

从乡村泥土路到211校园，从懵懂迷茫到目标坚定，你的成长之路，藏着每一步的挣扎与坚持、选择与蜕变。风起于青平之末 浪沉于波澜之间，那些看似平凡的过往，那些咬牙坚持的瞬间，终会拼凑成照亮前路的光。 从小你就习惯了独立，小学每天往返8公里上学，初中独自离家30公里住校，早已学会了自己照顾自己。 高中：低谷蓄力，逆风翻盘 高一高二的你，始终保持着认真听课的态度，没有太多杂念，只是单纯地做好自己该做的事，为未来积蓄力量。那时的你，还不懂什么是挫折，也未曾想过，高三会迎来一场足以击垮心态的考验。 高三，是你人生中的至暗时刻。一模物理成绩出来，仅有 16 分，距离高考仅剩几个月，巨大的落差让你陷入绝望，心...