1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...

27届还能有实习吗，有同学就学到Javaweb也找了个实习，之前投了800份我就约了一个面，，然后紧急搓了个ai项目demo换上去了😩

分享一个蚂蚁timeline3.25 一面3.30 二面4.2 HR面4.10 意向书

一面大模型优化自我介绍，之后介绍一下项目，用什么语言写的，算法是自己写的还是调库？因为项目里有最短路径算法，他就问数据结构里图的最短路径遍历算法，描述思路。c++了解多少，新标准了解吗，类型推导，左值和右值，move语句。如果创建一个类不声明构造函数，默认编译器会创建哪些构造函数？虚函数。了解过Transformer模型结构吗？平时用哪些大语言模型。手撕。有序链表删除重复元素，用python写，之后又问c++写的话有什么区别。反问。面试官到最后也不是很着急，我问完之后我俩相对无言有点尴尬。总体感觉一般般，有些说的不是很清楚。