1. 自我介绍2. 训练一个 decoder-only 大模型时，为什么 embedding 层和 lm head 常常共享权重权重共享本质上是一种参数高效和统计一致性的设计。输入端 embedding 学到的是“token 到向量空间”的映射，输出端 lm head 学到的是“隐藏状态到词表概率”的映射，如果这两个空间本身就在描述同一个词表语义，那么共享权重可以减少冗余参数，并让输入语义空间与输出判别空间保持一致。从优化角度看，共享权重还能起到轻微正则化作用，尤其在词表非常大时更明显。代价是模型表达自由度下降了一点，但对大多数语言模型来说这个损失远小于收益。很多实现里会保留一个独立 bias...

是我简历太单薄了吗，我投的都是小厂，想先过渡一下的想过自己很菜，没想到这么菜

对不住了bro哈哈哈哈哈

#面经#不知道是客户端还是服务端，B**S上投递的，职位描述上也没有说是客户端还是服务端，整体面试挺难，问了很多细节上的问题。整体面试总结：盯着简历问的，简历上写什么就问什么。狠狠拷打。感觉已凉。对话录音转文字：00:00 说话人1（第一个面试官，对着简历上的专业技能一个一个拷打，但凡写上去的都问多，啥也没放过）虚函数、纯虚函数有什么区别？00:05 说话人2（我自己）虚函数的话就是。嗯，有实现体。嗯，纯虚函数就是等于0的，就是呃类似于一个。嗯，接口吧，如果一个类实现了纯虚函数。然后，另外一个类继承了这个实现纯虚函数的类。那，另外一个类如果不实现这个纯虚函数，嗯，那它就没有办法实例化啊，必须实...