1. 自我介绍2. 训练一个 decoder-only 大模型时，为什么 embedding 层和 lm head 常常共享权重权重共享本质上是一种参数高效和统计一致性的设计。输入端 embedding 学到的是“token 到向量空间”的映射，输出端 lm head 学到的是“隐藏状态到词表概率”的映射，如果这两个空间本身就在描述同一个词表语义，那么共享权重可以减少冗余参数，并让输入语义空间与输出判别空间保持一致。从优化角度看，共享权重还能起到轻微正则化作用，尤其在词表非常大时更明显。代价是模型表达自由度下降了一点，但对大多数语言模型来说这个损失远小于收益。很多实现里会保留一个独立 bias...

绷不住了

rt 不知道是真的假的丁老板 太难绷了

📍面试公司：绿联科技🕐面试时间：boss投递->3.30HR电话沟通->4.1一面💻面试岗位：软件测试工程师❓面试问题：1.自我介绍2.剩下基本就是全程问实习和项目，不过问题都不是特别深入实习主要做了什么工作具体如何实现的遇到了什么问题，你是怎么解决的有没有什么印象深刻的bug，如何排查解决的项目的思路是怎样的，为什么做这个项目项目最大的难点在哪里最后反问：业务：naas软件反馈时间🙌面试感想：整体不难，一直问实习和项目，都能回答上来自圆其说就行了。