【华为计算产品线】2022届秋招内推

1. 自我介绍2. 训练一个 decoder-only 大模型时，为什么 embedding 层和 lm head 常常共享权重权重共享本质上是一种参数高效和统计一致性的设计。输入端 embedding 学到的是“token 到向量空间”的映射，输出端 lm head 学到的是“隐藏状态到词表概率”的映射，如果这两个空间本身就在描述同一个词表语义，那么共享权重可以减少冗余参数，并让输入语义空间与输出判别空间保持一致。从优化角度看，共享权重还能起到轻微正则化作用，尤其在词表非常大时更明显。代价是模型表达自由度下降了一点，但对大多数语言模型来说这个损失远小于收益。很多实现里会保留一个独立 bias...

绷不住了

这种的是真的假的，有没有什么陷阱啊

适合大厂的人，我称之为 “大厂特种兵体质”：体质一：​ 目标驱动 能在方向频繁调整、信息模糊的海量任务中，给自己设定清晰里程碑和关键结果。大厂资源多，但没人有义务给你划重点。等待被安排的人，第一个季度就会被边缘化。体质二：​ 模块化生存 能快速将一个庞大、复杂的系统，解构成自己能理解、能负责的模块，并高效与上下游十几个模块的负责人协同。沟通成本巨高，需要极强的主动拉通、同步、争取资源的能力。​ 喜欢单打独斗、厌恶开会的人会痛不欲生。体质三：​ 抗压与钝感 能承受业务一夜转向、团队重组、周围同事突然离职、以及高频高压的评审。需要一种“职业钝感力”，不因一时的否定、变化或冲突陷入情绪内耗，能快速聚...