FlashAttention到底快在哪？一句话+三个直觉

攒人品中，祝大家都能拿到满意的Offer！1.项目拷打2生成式推荐本质上是在做隐空间到离散iD的映射，你如何证明你生成的 ID 序列保留了用户意图的最优压缩3.比如广告场景下不仅仅是预估 CTR。如果我们将生成式排序引入 GSP拍卖，大模型生成的候选列表概率分布，如何保证满足激励相容性4如果模型生成的排序导致广告主出现竞价上的博弈呢5.在H100集群上跑生成式重排，现在的瓶颈不在计算而在存储带宽。如果分阶段推理，我在Prefill阶段采用了FlashAttention-3，但在 Decoding 阶段因为 KV Cache 导致的Fragmented Memory太严重，怎么办6.推荐系统要求毫秒级响应对于1B规模的排序模型，如果我要做Speculative Decoding，你如何设计那个Draft Model？这个小模型是该学大模型的 Logits 分布，还是该学用户的Embedding聚类7.假设构建一个端到端生成式广告系统。现在面临一个场景：某个新入驻的土豪广告主投放了一批高质量视频，但由于模型对新 ID 的 Semantic Indexing 尚未完全对齐，导致第一波推荐给了错误的人群，产生了极高的 Negative Feedback，生成式模型的自回归特性会不断放大这种“第一印象”，导致该广告主瞬间被屏蔽你如何设计一套Online Counterfactual Correction这种，在不重新训练模型的前提下，通过修改 KV Cache里的隐藏状态来强行挽回这批广告的生命周期9.在短视频重排阶段使用了一个 10B 的生成式模型但是业务反馈说模型在学会了今天最火的某个梗以后，竟然忘记了如何处理用户对“长尾科普视频”的旧兴趣，发生了明显的 Catastrophic Forgetting，设计一种基于 Gradient Orthogonal Projection的优化器，确保模型在更新实时热点知识时，参数更新量在旧知识的Null Space内。10.都知道生成式模型有位置偏差从 Attention Entropy 的角度来看，为什么 $N$ 个候选 Item 在序列中的排列顺序会直接导致 Logits 的非线性漂移

1. 如果知识库原始数据不是 markdown，而是 PDF、PPT、图片或者网页，你会怎么处理进 RAG 系统？PDF 和 PPT 会提取标题、段落、表格和页码，图片先做 OCR，网页先抽正文和元信息，然后统一清洗噪声、去掉页眉页脚、按语义做切片，补上来源、时间、文档层级这些元数据，最后再做 embedding 和索引。这样后面的召回、溯源和权限控制都更稳定。 public List<Chunk> buildChunks(Document doc) { List<Block> blocks = parser.parse(doc); List<Block> ...

笔试a 1.83(没开long long不ac的那次)（投的好迟现在才面第一家）1.自我介绍2.实习拷打-agent具体流程-使用什么模型，时延多少-复合多少tool，缺槽具体是怎么处理的-多轮逻辑有吗-RAG怎么做的-记忆怎么更新，删除。权重3.kv cache了解吗，具体是啥，存kv，为啥不存q4.回到实习，kv cache下，你的query怎么构建，顺序如何才能利用好5.即使把query放最后，如果新增小变更 前面的k矩阵还是会变化要重算，怎么办。-乱答flashattention，被指出错误，问是否了解vllm里的解决机制-不是搞infra的，论文也是可解释性相关的，没追问了6.做题top k大的元素，k<<N;-上午面脑子不清醒，一开始写了个堆排序，随后立刻改成k大小的堆排序7.问想来做什么8.反问40min猛攻特勤处，洗洗睡了

给我面没招了，感觉自己好菜、面试很难，还是要多多练习1.项目拷打2.你在去部署或者训练预训练或者后训练的模型时，有没有用过一些比较底层的一些训练的调试的工具，比如说千卡的话很容易就会出NCCL timeout，如果出现 NCCL timeout，一般怎么定位和解决？3.像那种rl里面的那个MOE之类的那种的优化有去做过吗4.看您的训练经验比较丰富，而且您上线运行的推理内容之前也进行过一些什么样的优化吗？5.有没有做过 kernel级别的优化？比如用 CUTE DSL或者手写 CUDA去做 fusion这类算子融合优化，介绍一下6像底层，如果你们在做.kernel fusion，倾向于用什么方式来做7.有没有哪次你做了 fusion 结果性能反而下降的？原因是什么8.平时写 CUDA的时候，有没有关注到底层实现细节？比如你刚提到 FA2，那再往下一层，像 Hopper架构里那个 warp specialization是什么，它底层大概是怎么实现的9.试过用 Agent去生成cuda内核么，怎么去做的10.如果我把 warp specialization 去掉，只保留 tile 和 shared memory 优化，大概会损失在哪？11.怎么么判断一个 MoE 模型是真的学到了分工，而不是只是把 dense模型拆开了12.在 RL + MoE 里，有没有遇到过 reward把 routing学坏的情况？就是模型为了拿 reward，全都走某几个 expert，这种情况你当时是怎么处理的