研一0854转大模型求问

网站很好，就喜欢可以随时看评分、随时复盘的

1. 在LLM推理里，我们经常听到一个词叫prefill，能解释一下它是什么意思吗？2. 我们来聊聊Transformer的基础吧。能先介绍一下Softmax函数吗？然后整体讲讲Transformer模型，特别是里面的QKV（Query, Key, Value）机制，能详细说说这个过程吗？3. Transformer的训练复杂度还挺高的，尤其是在处理长序列时。你了解哪些工作是致力于降低它训练时间复杂度的？4. 长上下文（long context）是现在LLM的一个研究热点，你都知道有哪些方法可以解决或者缓解长下文问题？5. GQA（Grouped-Query Attention）的原理是什么？...

rt 末9本cs技术栈java 港三新二水硕在读 27毕业本科毕设擦边大模型 实习算法相关目前只有1段高校算法ra明年2~5月跟暑期应该能再分别实习一段现在这个ra有论文在做 但完全不知道时间够不够发出来担心论文挂0秋招也会挂0 想问问鼠鼠还能大胆allin吗😭java太卷了八股项目准备得也不好，基本也算从零开始虽然大家都说大模型应用好进点，但感觉实际上岗位也不多 大多都是面向科班纯正顶会算法爷红薯牛客各种软件看得特别怕挂零，路过有无劝进劝退

作为工科女勇闯嵌入式方向的秋招选手，我被问过很多次：“你一个女生，为什么要做嵌入式啊？你觉得你比男生的优势在哪里？”说实话，每次听到都觉得有点无语😂。但我的回答永远很直接：因为我本硕专业第一，所以我觉得我本来就战胜过很多男生呀。希望某些公司今年别再问这种对立问题，真的没营养