华为gts

面试题简述Transformer中用的是LayerNorm，而不是常见的BatchNorm，这是为什么？面试官想听的意识到不是BN不好，而是不适合Transformer的使用场景。面试回答举例Transformer中选择LayerNorm而不是BatchNorm，主要原因和序列建模方式以及训练场景有关。详情请查看：http://xhslink.com/o/8yJohFzKSX6由浅入深分析1、BN 依赖 batch 统计量。2、LN 只依赖特征维度。3、Transformer 的 token 并行与 BN 设计目标维度不一致。4、自回归推理场景下 BN 表现不稳定。面试加分点1、提出推理阶段 ...

我真有点想骂人了

本文将以Java后端岗位的实习为案例，跟大家介绍下我认为能够让自己的实习收益最大化的方式/思维。当然本文介绍的大部分内容，其实很多岗位都可以适用。本文会介绍我遇到的很多人常见的“错误”思维以及我认为正确的思维，这些思维并没有绝对意义上的错与对。但如果你追求的是快速成长、快速进步，或更直接点是更好的工作内容和薪资，有些思维习惯方式可能你进步的绊脚石。好的，接下来我们来慢慢讨论一些常见的问题，希望你能通过我的一些看法，挑取一些你觉得有价值的东西。我最近在帮很多同学改简历，发现一个非常普遍的现象：很多同学在公司实习了三五个月，简历一打开，项目经历里全是：“负责了某某后台管理系统的增删改查”“配合导师...