面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

在深圳  

目前0实习，想年后找一个，求拷打简历

概述 面向对象，脚本语言，解释形语言，边解析边执行 动态类型，垃圾回收语法规范 锁进等价{}，不要行尾; 行尾不要出现空格，基础语法 入口方法： if __name__=='__main__': 数据类型： int 整型，任意大小，包括负数，可以用下划线类似,使用， float 浮点型，有精度问题，使用decimal解决 bool 波尔类型，True，False，bool是int的子类，True实际值1，False实际值0，可以和数字直接相加减 == 值相等 is 是否是同一个对象 字符串类型 可以''，也可以""，"asd'345'ghj"，可以乘法，...