1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...

对不住了bro哈哈哈哈哈

继上次三方毁约后，又拿到了腾讯社招offer

1. 自我介绍2. SSE 跟 WebSocket 有什么区别？为什么模型推流场景很多时候选 SSE，不选 WebSocket？答案：SSE 是服务器到客户端的单向流式推送，基于 HTTP，天然适合把模型生成的 token 一段一段往前端推。WebSocket 是全双工协议，更适合双方都要频繁通信的场景，比如协同编辑、实时游戏、双向控制。模型推流大多数时候是服务端连续输出、客户端被动接收，所以通信模式上 SSE 更贴近需求。另外 SSE 在工程上更轻，和现有 HTTP 网关、鉴权、中间件、日志系统、Nginx 代理兼容性更好，浏览器原生支持 EventSource，实现成本低。很多公司不选 W...