第 20 题：SwiGLU 激活函数相比 ReLU / GELU 的优势 题目 解释 SwiGLU 激活函数相比 ReLU 和 GELU 的优势。 一、ReLU 与 GELU 简述  ReLU：；简单、稀疏，但死神经元、非零处恒为 1 的梯度。 GELU：（与正态 CDF 相关）；平滑、在负半轴非零，被 BERT、GPT-2 等采用。  二、门控与 GLU 族 GLU（Gated Linear Unit） 形式：，即一路做门控（sigmoid），一路做线性变换，再逐元素乘。门控可让模型学会“选通”信息，提升表达能力。 SwiGLU：把门控的 sigmoid 换成 Swish（即 ，又称 SiL...

Timeline3.5一面3.8 二面3.12 三面3.18 hr面4.2 offer

求助，怎么改进。约面都没有🙂‍↔️  

分享一下近来的思考。 对于转行还是有点噱头的，只是想在互联网从事一个不那么代码的岗位，不是有多讨厌而是心有余而力不足。心有余指的是我现在仍为AI届层出不穷的好玩东西感兴趣，愿意去尝试；力不足指的是以大厂为奋斗目标自己无法以纯粹的方式踏进。可见我如同诸多双非学子一般，渴望有天自己进入大厂务职，那给我带来的薪资和光环是我时刻都在幻想的。可进去又怎样？一山比一山高，挣钱是本质需求，这么看来拼命进大厂也无可厚非。 不说少数情况和岗位差异，我觉得可以达成一个共识，想多挣钱->努力进大厂。那么我是否可以利用过往开发经历结合现在的大模型时代，以所谓的技术工程为背景在大厂寻找一个非研发/开发的岗位呢，不...