第 20 题：SwiGLU 激活函数相比 ReLU / GELU 的优势 题目 解释 SwiGLU 激活函数相比 ReLU 和 GELU 的优势。 一、ReLU 与 GELU 简述  ReLU：；简单、稀疏，但死神经元、非零处恒为 1 的梯度。 GELU：（与正态 CDF 相关）；平滑、在负半轴非零，被 BERT、GPT-2 等采用。  二、门控与 GLU 族 GLU（Gated Linear Unit） 形式：，即一路做门控（sigmoid），一路做线性变换，再逐元素乘。门控可让模型学会“选通”信息，提升表达能力。 SwiGLU：把门控的 sigmoid 换成 Swish（即 ，又称 SiL...

个人背景：学院二本计科专业 大二开始实习个人经历：安克创新 、理想汽车、字节跳动碎碎念：我做事只有三分钟热度。看到进了大厂的同学，我会羡慕，也会跟着努力上进；但遇到好看的小说，我又会放下手头的事沉迷其中，之前的坚持也就中断了。我有些自卑，总觉得自己学历和外貌都不够好。之前偶然在网上受到关注，我就喜欢上了上网，因为这里有很多人认可我。但我也很在意别人的评价，偶尔看到嘲讽的言论，会触发我的自卑情绪，让我感到愤怒。有时候我会强硬地回怼，有时候又会懦弱地选择无视。我也有虚荣心。不管是拿到安克、理想还是字节的机会，我在分享的时候都会带着这份心思。我会特意强调自己学历不好，是为了衬托出过程的艰难，以此显得自己更厉害。我知道，人往往会炫耀自己缺少的东西，来掩盖内心的空洞。我总想着走捷径，不太喜欢踏踏实实地做事。找实习的时候，我花了更多时间在研究面试技巧上，而不是提升专业能力。我会反复听面试录音分析技巧，看面试教程学习怎么和不同的面试官沟通，还会每天自言自语练习语言表达，同学都觉得我有点奇怪。我的实习生涯里，侥幸和运气占了很大一部分。我总在想，如果有一天我失去了这份幸运，这些特质可能会让我一蹶不振。ps： 很多人会问我学习路线和经验 但是就像我上面说的 我的实习过程靠的很多是关键节点的运气 技术上面我可能不如很多人  所以请大家理性求助和理性参考我的回答 附上我的投递记录

求各位路过的大佬锐评！      

一、互联网简历泡池子：美团、京东、蚂蚁简历挂：字节、阿里、快手、拼多多一面挂：腾讯收到offer: 智源人工智能研究院、小红书二、硬件厂一面挂：寒武纪、momenta、地平线三、总结原本计划提前离职待出租房全力找工作，但提离职时mentor和我说，可以在公司边待边找，公司里的任务不急，可以抽出一半时间准备面试，且公司里的电话亭也可以用来面试，所以我也就欣然同意了。没想到在这样的条件下，都感觉找工作页贼焦虑，有点不敢想全职找得焦虑成啥样。小红书二面后也经历了“暂不合适”，好在最后被捞起来了，然后五一前收到了书面offer，最后也是决定去这儿。离职的时候还和大家说了说投递情况，他们觉得我投递的方向...