海康威视嵌入式一面

面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

发消息发到工作群了。。。主要是朋友也看错群了还回复了

大小写/拼写错误：；易拼错关键字（如virtual误写vitural）。头文件/命名空间遗漏：（用vector忘<vector>、用sqrt忘<cmath>）。分号/括号遗漏：语句结尾漏写分号，if/for/while后代码块若有多行却漏加{}（单行可省，多行必加，否则逻辑出错）；括号成对写，避免少写。变量相关错误：使用变量前未定义/未初始化。函数相关错误：函数声明与定义不一致（参数类型/个数不匹配）。