快手实习-GPU与AI优化

发点面经攒攒人品1、你在线上或离线训练时，过拟合怎么处理？直接说你最有效的三个方法和拿到的收益。2、把 BN 讲透：原理是什么；训练期和推理期用的统计量有何不同；跟 LN、GN 比，分别什么时候用、怎么取舍。3、分类和回归你最常用哪些损失？你更偏好哪几个，为什么（从鲁棒性、梯度、数值稳定性上谈）。4、L1 和 L2 正则你怎么选？它们各自的效果与风险是什么，工程里你是怎么权衡的。5、二元和多分类的交叉熵你怎么写？在工程里你怎么做数值稳定实现。6、AUC 到底在统计上代表什么？你怎么计算它，在线上业务里你如何解释“这次 AUC 提升”的含义。7、你做 CTR/CVR/CTCVR 联合建模时，ESMM/ESMM2 是怎么推导与工程落地的？线上到底带来了什么收益。8、Transformer 里因果注意力的 Q/K/V 各从哪来？Mask 具体怎么实现。9、Scaled Dot‑Product Attention 为啥要除以 √dk？如果不除会出什么数值或训练问题。10、把 Transformer / Decoder‑only 的整体结构过一遍，各个组件分别在干什么，有哪些常见变体。11、位置编码这条线你怎么选：绝对 PE、相对 PE、RoPE 各自的思路、优势和局限，结合你的项目谈取舍。12、长上下文怎么搞？Rope scaling、Position Interpolation、KV Cache 管理、检索增强、窗口注意力，你的实战方案是什么。13、KV Cache 在训练和推理中的差异是什么？它的加速价值有多大，吞吐与延迟你是如何权衡的，vLLM/paged‑attention 需要注意什么。14、PEFT 方案里（LoRA/QLoRA/Prefix/Prompt‑Tuning/Adapter）你怎么选？说说稳定训练的经验。15、SFT 和对齐（RLHF/DPO/IPO/PPO）原理差在哪？在不同数据与资源条件下，你怎么选路线。16、RAG 系统你怎么设计？切分、索引、召回/重排、压缩/融合、兜底策略怎么串。17、提示词工程你是怎么搞的？System/角色/约束/分步指令怎么写，如何防越狱

今天给大家介绍一个非常适合上手实操的 AI Agent 开源项目——CoPaw（GitHub 12.5k star），一个真正能跑起来、用起来的私人 AI 助手。 CoPaw 是什么？ CoPaw 全称 Co Personal Agent Workstation，是一个可以部署在自己电脑或云端的个人 AI 助手框架。它不是那种只能在网页聊天的 demo，而是能接入你日常使用的各种聊天工具，帮你干活的实战型 Agent。 一句话总结： 把 AI 能力接入你的钉钉/飞书/QQ/Discord/Telegram，让它变成你的 7x24 小时私人助理。 为什么推荐这个项目？ 1. 上手极简，3 行命令...

1️⃣大模型推理优化方面KV Cache 、PagedAttention 、FlashAttention 等技术，提升吞吐和显存利用率。2️⃣高频考点vLLM 与 PagedAttentionKV Cache 原理与优化推理加速综合策略3️⃣公司考察侧重点差异💞字节跳动：全面覆盖推理优化、推荐系统、多模态等多个方向，考察系统化思维能力👀腾讯：偏重推理框架（ vLLM 、FlashAttention ）和长上下文优化🍎美团／滴滴：关注实用化推理加速技术选型和实践经验4️⃣面试准备建议➡➡掌握核心原理：深入理解 vLLM 的PagedAttention 、 KV Cache 、 FlashAttention 核心技术的实现机制。➡➡积累实战经验：准备具体的优化案例，包括量化效果、延迟提升数据等量化指标。➡➡构建系统视角：不仅要懂算法原理，还要了解系统资源调度、并发处理等工程实践。⭕如果你现在：- 春招/秋招没方向- 简历没人看- 面试总挂- 不知道怎么准备📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

一天一个 AI 岗位解析，今天来聊聊——AI训推框架研发工程师（AI Infra）如果说算法工程师是在让模型更聪明，那这个岗位就是👉 让大模型能稳定、高效、低成本地跑在业务里。不直接写业务逻辑，也不用直接和用户打交道，但是所有AI产品都离不开他，是实打实的“基建大神”。无论是 AI Agent、AI搜索、AI分身，背后都离不开训练与推理框架的支撑。一、这个岗位平时在做什么这个岗位的工作核心可以总结为三块：1️⃣ 大模型训练 & 推理框架研发首先你需要参与公司自研的 AI 训推框架开发，比如：大模型推理引擎优化训练框架性能提升推理吞吐与延迟优化巧妇难为无米之炊，得先开发框架才能后续推进...