这个C++项目大家觉得怎么样:分布式大模型基础架构

项目适用岗位:互联网C++后端, 大模型端侧部署 ,自动驾驶/机器人具身智能C++开发

1、底层通信组件方案
通信模式封装
支持兼容多种通信模式
普通消息模式:PUB/SUB(发布订阅)、PUSH/PULL(点对点通信)
RPC 模式:通过ZMQ_REP、ZMQ_REQ 封装 RPC 功能
RPC功能
支持 RPC 方法的动态注册
提供默认的 RPC 方法列表查询
支持 RPC 调用
2、Master模块(实现思路:类似ROS1 Master功能, 更轻量化)
背景:分布式大模型系统中,多个节点(如llm/vlm, asr,tts, camera,yolo)需要动态发现彼此并高效通信,外部用户可以动态管理节点内任务调度
​​节点注册与发现​
实现轻量化内存kv缓存数据库:存储节点元信息;并提高sql查询接口,供节点动态通信
节点启动时向Master模块注册,上报自身元信息;节点通信时自动匹配
动态任务调度分配
设计用户请求-任务匹配机制:外部用户仅封装简易数据包请求,可实现动态控制各个模块(启停/llm推理等)
3、Channel模块
封装上层发布-订阅(PUB/SUB)和点对点通信(PUSH/PULL)混合通信模式
设计闭包,通过闭包将​​网络层​​(ZeroMQ)与​​业务层​​(用户回调)解耦,同时隐式维护了通信上下文状态。
4、Infra基础架构模块
rpc分布式控制指令下发+异步​事件驱动架构​
​注册rpc_setup/rpc_pause等分布式控制接口->注册eventpp事件监听->上层触发rpc调用 -> 添加eventpp事件队列中-> 异步事件驱动->各子类Setup/Pause等功能接口
标准化控制协议​​
基于抽象接口(Setup/Pause等)实现跨模块统一管控,支持LLM/ASR/TTS等异构节点无缝集成
5、TASK模块
与Infra模块关系:类似与进程和线程之间关系,Infra模块负责资源分配和流程管控,TASK模块是真正干活的,干的活如下:
各模块中模型生命周期管理(加载/卸载)
infra推理
包装回调输出
等等

#Linux#  #实习#   #秋招#  #项目#   #C++要学到什么程度#
全部评论
项目适用岗位:互联网C++后端, 大模型端侧部署 ,自动驾驶/机器人具身智能C++开发
2 回复 分享
发布于 05-28 18:20 江苏
C++分布式大模型基础架构项目-初版 代码仓库地址:https://github.com/superxiaobai-1/Edge-LLM-Infra/tree/master 后续会完善代码,更新详细视频文档解析
1 回复 分享
发布于 06-16 17:07 江苏
星球内秋招实习项目评价哈
1 回复 分享
发布于 05-28 23:54 江苏

相关推荐

头像 会员标识
10-01 22:30
中南大学 C++
📍面试公司:深信服🕐面试时间:9.28💻面试岗位:ai应用开发 4面(总裁面)❓面试问题:1.自我介绍(我以为总裁不懂技术,就略了很多技术细节,没想到总裁对技术懂得挺多的)2.询问成绩名次和奖学金3.为什么会想去算子、模型推理这些的?(因为deepseek在ai-infra做了很多创新,可以降低成本)4.面试官打断我,说我说的不对,deepseek在这方面做的很差(我也不清楚,但是网上不都是说deepseek 引爆ai infra,压的成本很低吗?)5.你说下deepseek做了什么(训练并行、通信、多租户、负载、PD分离)6.PD分离解释一下7.注意力机制的公式写一下8.分母是干什么的9.Q* K^T是在做什么(我说了半天,他都不满意)10.讲一下引以为豪的算子(softmax)11.你说一下你的softmax和别人的有什么区别?(?)12.写一下softmax公式(这个我写的绝对是对的,面试官拿拿手机搜了,说我写的不对,我写的是带 max的)13.说一下softmax做的什么?14.手写一下,你的softmax怎么做的?(把flash attention的实现写了一下)15.你画一下n卡存储都有什么16.在这个图上讲你的softmax的实现17.怎么调用GPU函数,<<<>>>里面参数是什么意思18.你这个是怎么减少通信的,代码如何实现的?手写一下19.解释一下kv cache20.通讯库了解多少(我说多卡用的少)21.单卡也有通讯库啊,你可以讲一下吗22.手撕:你有1 2 4 8 16……的钱(每种钱有两个),让你求所有可以支付的金额,并且要把支付方式都打印出来。(我写的是背包+记忆化)23.你有什么兴趣(读书,健身)24.你最近看的一本非技术的书是什么,书名是什么,作者是谁(艹,其实我好久没看了,说了前一段时间看的,一本讲怎么和别人交谈的书,书名和作者我都说不上来)25.为什么记不太清(找工作太慢,上个月看的),为什么找工作会忙(我今天在这线下面了5个小时,你说为什么忙?)反问:1.工作地点,我想去北京🙌面试感想:面试快结束的时候,面试官给我说,他是管理整个ai infra部门的,今年秋招以来第一个看到ai infra面试的人,不过深信服 ai infra都在深圳,我去的几率确实不大,直接明说去北京了真的没想到,总裁面会问这么多技术,而且总裁看上去得50-60+了。后面说可能还要给我再加一场5面,专门问ai infra。
查看25道真题和解析
点赞 评论 收藏
分享
评论
1
14
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务