中信银行视频初面体验

1. 基础概念题：什么是大模型核心加速技术中的 “算子融合”？举例说明其作用。答案要点：算子融合是将多个连续计算算子合并为一个，减少计算图中的节点数和显存读写次数，降低延迟。举例：如将 Transformer 中的 Add（残差连接）与 RMSNorm（归一化）融合，减少两次内存访问，提升推理速度。2. 技术原理题：Flash Attention V2 如何优化注意力计算效率？与 V1 的核心区别是什么？答案要点：• V1：通过分块计算注意力，减少显存占用（避免存储所有中间键值对）。• V2：引入 “内外循环交换策略”，将矩阵乘法的循环顺序调整为更适合 GPU 并行计算的模式，进一步提升计算效率，尤其在长序列场景下加速明显。3. 量化技术中，FP8、INT4 AWQ、INT4-FP8 AWQ 的适用场景和压缩率有何差异？4. RAG 系统中，文档切分粒度如何影响检索和生成效果？实际中如何确定最优粒度？5.在长序列推理场景中，PagedAttention 和 Prefix Caching 分别解决什么问题？如何配合使用？答案要点：• PagedAttention：将 KV Cache 分块存储在非连续显存中，避免显存碎片，支持处理超长序列（如百万 Token）；• Prefix Caching：缓存历史对话的 KV 对，跨请求复用，减少重复计算（如多轮对话中复用上文缓存）。配合逻辑：PagedAttention 解决显存限制，Prefix Caching 减少计算量，两者结合可提升长对话场景的效率和稳定性。6. 在企业级推理场景中，如何根据需求选择量化方案？举例说明短文本高并发和长文本场景的优化策略。实时客服系统用 INT4 量化加速响应；金融报告生成场景用 FP8+PagedAttention 处理数千 Token 输入。

书接上回，pdd最终确定是用户增长业务线下的算法团队，做的是算法部署（有Java微服务的，也有c++推理优化），这算是ai infra？各位佬有了解的吗？做算法部署的前景如何？跳槽就业面广吗？      

各位大佬有没有小众且文档详细点的高质量知识星球推荐呢，最好是有轮子项目和ai相关项目的，感谢

项目适用岗位：互联网C++后端， 大模型端侧部署 ，自动驾驶/机器人具身智能C++开发1、底层通信组件方案通信模式封装支持兼容多种通信模式普通消息模式：PUB/SUB(发布订阅)、PUSH/PULL(点对点通信)RPC 模式：通过ZMQ_REP、ZMQ_REQ 封装 RPC 功能RPC功能支持 RPC 方法的动态注册提供默认的 RPC 方法列表查询支持 RPC 调用2、Master模块（实现思路：类似ROS1 Master功能, 更轻量化）背景：分布式大模型系统中，多个节点（如llm/vlm， asr，tts， camera，yolo）需要动态发现彼此并高效通信，外部用户可以动态管理节点内任务调度​​节点注册与发现​实现轻量化内存kv缓存数据库：存储节点元信息；并提高sql查询接口，供节点动态通信节点启动时向Master模块注册，上报自身元信息；节点通信时自动匹配动态任务调度分配设计用户请求-任务匹配机制：外部用户仅封装简易数据包请求，可实现动态控制各个模块(启停/llm推理等)3、Channel模块封装上层发布-订阅(PUB/SUB)和点对点通信(PUSH/PULL)混合通信模式设计闭包，通过闭包将​​网络层​​（ZeroMQ）与​​业务层​​（用户回调）解耦，同时隐式维护了通信上下文状态。4、Infra基础架构模块rpc分布式控制指令下发+异步​事件驱动架构​​注册rpc_setup/rpc_pause等分布式控制接口->注册eventpp事件监听->上层触发rpc调用 -> 添加eventpp事件队列中-> 异步事件驱动->各子类Setup/Pause等功能接口标准化控制协议​​基于抽象接口（Setup/Pause等）实现跨模块统一管控，支持LLM/ASR/TTS等异构节点无缝集成5、TASK模块与Infra模块关系：类似与进程和线程之间关系，Infra模块负责资源分配和流程管控，TASK模块是真正干活的，干的活如下：各模块中模型生命周期管理（加载/卸载）infra推理包装回调输出等等