二维数组

面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

我是广东某普通一本的学生（不是深大广工那种强双非），今年12月抱着试一试的心态投了一下字节，本以为自己的简历会石沉大海，没想到时隔一周半hr居然打电话给我通知一面。作为一个普通双非学生，我深知字节这种超级大厂是一座难以攀登的山峰，但我还是决定尝试一下，果断接受了约面，其实我因为担心脏面评好几次想过放弃，但幸亏我坚持住了！之后那一周我疯狂准备面试，刷h100和sql 50，总结自己在哈啰实习中学到的业务以及产出，我不敢懈怠，但我不得不承认一开始我确实只是抱着不脏面评的心态去备战的，我最初的目标就是挺过一面就好了。一面的时候状态很好，面试官的问题对答如流，末了面试官对我的评价是对公司业务了解非常深...