1. 自我介绍2. 训练一个 decoder-only 大模型时，为什么 embedding 层和 lm head 常常共享权重权重共享本质上是一种参数高效和统计一致性的设计。输入端 embedding 学到的是“token 到向量空间”的映射，输出端 lm head 学到的是“隐藏状态到词表概率”的映射，如果这两个空间本身就在描述同一个词表语义，那么共享权重可以减少冗余参数，并让输入语义空间与输出判别空间保持一致。从优化角度看，共享权重还能起到轻微正则化作用，尤其在词表非常大时更明显。代价是模型表达自由度下降了一点，但对大多数语言模型来说这个损失远小于收益。很多实现里会保留一个独立 bias...

学java第六天，效率太慢了把游戏删了我再玩是sb

1. 自我介绍2. RAG系统的核心架构、检索优化与在教育场景的落地难点RAG核心架构分为数据预处理、检索模块、提示工程、大模型生成、后处理校验五部分。检索优化包括混合检索、多轮检索、知识切片、向量库优化等。在教育场景的落地难点在于知识专业性强、知识点关联复杂，易出现检索不精准；题目、公式、图表等多模态数据的结构化提取难度大；学生提问口语化、歧义多，意图理解难度高；需严格保证知识准确性，避免大模型幻觉。解决方案包括构建教育领域专属知识库、多模态文档解析、意图识别优化、事实校验机制等。3. SFT的核心流程、数据构造要点与在教育大模型中的应用SFT核心流程为数据准备、模型选择、微调策略、训练配置...