核心算法与深度学习框架

发些面经攒攒人品～～～1* FusedAttention优化怎么做的？2* 介绍一下FlashAttention3* FlashAttention数学推理公式4* RMSNorm为什么相比LayerNorm有提升？5* 现场想一个更灵活有效的显存分配方式cudaAllocator6* 整个Llama中有几个FC全连接层？7* Llama2的推理流程？每一层都有什么算子论文拷打C++：1* C++11的特性2* 智能指针3* unique_ptr 如何保证唯一性4* shared_ptr 何时析构5* 类的成员函数可以当模板吗6* 左值右值CUDA：1* CUDA有哪几种编程手段2* Tensor core 和 CUDA core的区别编程：1* 【LeetCode - 128】最长连续序列2* 【LeetCode - 340】至多包含 K 个不同字符的最长子串

1. BERT 模型的结构答：BERT 本质上是一个 Encoder-only 的 Transformer。输入由 Token Embedding、Segment Embedding、Position Embedding 三部分相加得到，然后经过多层 Transformer Encoder。以 BERT-Base 为例，模型参数通常是：层数 (L=12)，隐藏维度 (H=768)，注意力头数 (A=12)，前馈层维度 (4H=3072)。BERT-Large 则是 (L=24, H=1024, A=16)。每层 Encoder 的结构是：Multi-Head Self-Attention -&...

给我面没招了，感觉自己好菜、面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.实习拷打2.有没有觉得工作中卡住的点，聊一聊3.是否了解操作系统等 讲讲操作系统内存管理 虚拟内存解决了什么问题4.介绍一下mcp5.mcp工具较多时如何避免幻觉6.有没有看论文的习惯 最近有哪些较新的内容7.代码题：求数组连续出现相同数字的最大次数

一、大语言模型基础1. 目前主流的开源模型体系有哪些？主流开源模型体系包括：LLaMA 系、Qwen 系、GLM/ChatGLM 系、Mistral/Mixtral 系、Baichuan 系、DeepSeek 系、InternLM、Yi 等。面试里建议从以下维度比较：参数规模（7B/13B/70B…）上下文长度（8K/32K/128K…）多语言能力工具调用能力（function calling / agent）推理成本与部署难度开源协议（是否可商用）2. Prefix LM 和 Causal LM 区别是什么？Causal LM：严格自回归，token 只能看左侧历史（下三角 mask）。Pr...