26校招快手 AI infra面经

作为实习生，快速融入公司关键在于主动学习和积极沟通。入职初期，我会熟悉团队业务、开发流程和工具链，同时向同事请教问题，记录工作经验。参与团队会议、分享自己的进展，让大家了解我的工作状态。遇到任务主动承担，按时完成，并及时反馈结果。保持谦虚好学、积极配合，可以迅速建立信任感，融入团队氛围。

给我面没招了，觉得自己好菜...1. 先问fp42. 量化的矩阵乘维度3. 先问硬件怎么做量化的。4. 量化的硬件需要啥5. 问了一些gpu的问题。6. 怎么分析系统瓶颈。7. 问了flash attn。7.1 有什么用？7.2 矩阵维度推导。7.3 k包不包含q的那个17.4 多头多batch怎么并行

在生成式AI广泛应用的企业环境中，高质量的Prompt是释放大模型能力的关键。然而，一线员工的prompt engineering能力差异较大，分布不均，且通过一线使用人员独立维护的话，会导致最终输出结果的不可控，即导致输出质量参差不齐。通过建立标准化的Prompt模板，可以大幅提升AI应用的稳定性和效率，降低试错成本。本文将分享几种适用于企业内部的Prompt模板，并结合实例说明其用法。一、标准化模板的价值企业级Prompt模板旨在将复杂任务拆解为清晰的指令框架，确保模型理解一致。其核心要素包括：角色定义、任务描述、输入格式、输出要求及约束条件。标准化后，通过维护字典进行后端调用，可以确保使...

继续来分享下之前的面经~欢迎友好讨论，信息共享1️⃣算法题：手撕内存池（要求支持类似new Foo[], delete []功能)，c++如何比较两个float是否相等，LRU，岛屿个数，二叉树的层序遍历，hamming weight，k-coverage intervals2️⃣torch手撕题: LoRA adapter3️⃣cuda手撕题：1- 支持torch broadcast的4D tensor的elementwise mul2- A: (1, 256),  B: (256, 128),  C: (128, 256) ，计算 (A * B) * C3- Embedding Sparse Feature Pooling：A是 100 万个离散 ID（0~999），B是 100 万个float，计算个长度为1000的float数组C，C[i] = \sum_{j s.t. A[j] = i} B[j]4️⃣ai infra或算法八股：1- llm的知识蒸馏放在预训练做是否合适2- Hopper TMA的优点，调用方式，是否需要经过L13- Flash Attention v2为什么外层对Q循环，Flash Decoding的combine kernel耗时占比大概是多少4- Mooncake kv-cache centric的PD分离5- Dit的推理框架设计思路和LLM的有什么异同6- 分析MLA decode的计算访存比，它和seqlen、batch size是否相关7- diffusion model的训练和推理步骤，推理num_inference_steps为40时，为什么训练的timesteps仍要设成10008- 介绍dLLM，如何看待它和AR的区别9- torch.repeat 和 torch.expand的区别10- torchrun的启动参数有哪些，如何在Linux上批量kill包含torchrun的进程