第 20 题：SwiGLU 激活函数相比 ReLU / GELU 的优势 题目 解释 SwiGLU 激活函数相比 ReLU 和 GELU 的优势。 一、ReLU 与 GELU 简述  ReLU：；简单、稀疏，但死神经元、非零处恒为 1 的梯度。 GELU：（与正态 CDF 相关）；平滑、在负半轴非零，被 BERT、GPT-2 等采用。  二、门控与 GLU 族 GLU（Gated Linear Unit） 形式：，即一路做门控（sigmoid），一路做线性变换，再逐元素乘。门控可让模型学会“选通”信息，提升表达能力。 SwiGLU：把门控的 sigmoid 换成 Swish（即 ，又称 SiL...

boss沟通400➕了就几个要简历的无一个面试，很多要27以后的，28太难了感觉找不到实习了😓😓😓

背景：24届211软件工程专业。中间因为考研二战空档了一段时间，后经人推荐联系到了栗栗姐。因为很久没接触算法题了，在栗栗姐的帮助下准备了比较久的时间。在整个过程中，栗栗姐尽心尽力帮我联系部门，跟相关人员沟通，非常感谢栗栗姐-----还是旧系统面试发的offer了，哈哈哈哈哈。机试：1、高矮个子排队2、报文响应时间3、简易内存池按栗栗姐发的题库刷就可以，跟力扣上的很多题思路类似，刷的同时也练习了手撕。资格面试：1、自我介绍2、来base地的原因3、空窗期的原因4、大致介绍一下项目5、期望薪资之后就是反问环节了，可以问问培养计划之类的问题。技术一面：首先是自我介绍，之后聊聊了项目问题，开始问八股，...