1.自我介绍2. 文章分类大概有多少文章？数据规模怎么影响方案？答案：如果文章量只有几千篇，我一般不会一上来就训练很复杂的模型，而是先用预训练模型微调，或者用 embedding 加传统分类器做一个强 baseline。因为数据量太小的时候，复杂模型很容易过拟合，线上效果不稳定。如果有几十万到几百万篇文章，就可以考虑训练一个更稳定的分类模型，包括 BERT 微调、领域继续预训练、层级分类模型，甚至做多任务学习。数据量越大，越要关注标签噪声，因为文章分类里的标注经常不是绝对干净的，尤其是多维度分类，一个文档可能同时属于多个业务类别。实际项目里我会先看三个东西：类别数量、每个类别样本分布、单篇文档...

ClaudeCode是真好用啊，谁懂啊不知道ClaudeCode 为什么这么恨老中

恐怖如斯

第 15 题：LoRA（Low-Rank Adaptation）的数学原理 题目 解释 LoRA（Low-Rank Adaptation）微调的数学原理。 一、动机 全量微调大模型要更新全部参数，显存与算力成本高。LoRA 假设预训练权重在适应新任务时，有效更新是低秩的，因此只学习一个低秩增量，与原权重相加得到适应后的权重，从而大幅减少可训练参数与显存。 二、数学形式 设某层线性变换为 ，。LoRA 不直接改 ，而是增加低秩分解的增量：  其中 ，， 为秩。前向时：   训练：只训练 、， 冻结；参数量从  变为 。 推理：可把  算好存成一张矩阵，等价于单层线性，无额外延迟；或保留  分开算...