第 20 题：SwiGLU 激活函数相比 ReLU / GELU 的优势 题目 解释 SwiGLU 激活函数相比 ReLU 和 GELU 的优势。 一、ReLU 与 GELU 简述  ReLU：；简单、稀疏，但死神经元、非零处恒为 1 的梯度。 GELU：（与正态 CDF 相关）；平滑、在负半轴非零，被 BERT、GPT-2 等采用。  二、门控与 GLU 族 GLU（Gated Linear Unit） 形式：，即一路做门控（sigmoid），一路做线性变换，再逐元素乘。门控可让模型学会“选通”信息，提升表达能力。 SwiGLU：把门控的 sigmoid 换成 Swish（即 ，又称 SiL...

焦虑了将近半个月，终于offer了，我真的哭了

朋友说这个是云证，算是入职流程了，怎么等了一天还没 hr😶

上海世客科技，大家看完来龙去脉自行斟酌，两轮面完感觉面的聊的还是不错的，对方也指出技术还不错，当时自认为还可以，最后说三天内会通知我结果，三天后也就是周一，一天杳无音讯，于是问了加了微信的总监和boss的hr，两天过去没有回复。今天去看职位已经关闭了，其实没有录用及时通知我我觉得完全没毛病，这样不回复真的恶心人