第 20 题：SwiGLU 激活函数相比 ReLU / GELU 的优势 题目 解释 SwiGLU 激活函数相比 ReLU 和 GELU 的优势。 一、ReLU 与 GELU 简述  ReLU：；简单、稀疏，但死神经元、非零处恒为 1 的梯度。 GELU：（与正态 CDF 相关）；平滑、在负半轴非零，被 BERT、GPT-2 等采用。  二、门控与 GLU 族 GLU（Gated Linear Unit） 形式：，即一路做门控（sigmoid），一路做线性变换，再逐元素乘。门控可让模型学会“选通”信息，提升表达能力。 SwiGLU：把门控的 sigmoid 换成 Swish（即 ，又称 SiL...

腾讯校招公众号的数据，估计那77%都在横向

本人27届双非，去年开始从Java开发转Agent开发，目前有一段三个月金蝶的Agent开发实习经历，4月份离职，准备春招。原本目标是找一份有名气的中厂Agent开发实习，但是官网上投的所有中大厂基本上都是简历挂了，已经死心了。目前手里面有几份offer，在考虑到底是怎么办，有点不甘心，手里面的基本上都没啥名气，怕对后续找实习或者工作没啥帮助，不知道要不要走，但又怕再拖下时机过了，找不到实习了（或者比现在手里面的还差），请各位大佬给点意见吧。目前手里面主要有两个千人公司比较纠结是否要去的。其他都是500-999人的小厂，暂时不太考虑。鼎捷数智，南京，4600一个月（台湾企业）国投智能，厦门，包...