AI应用开发全景路线图(补充篇)

#推荐一个值得做的AI项目# 接上篇
https://www.nowcoder.com/discuss/847995166416703488?sourceSSR=users

还缺少了平台和中间件的部分没有和大家交流,这一篇补充一下

平台&&中间件

和 AI 相关的平台主要就是 Maas 平台和机器学习平台,Maas 平台,大家最熟悉的就是阿里云百炼,用于模型部署,模型微调,并且整合知识库,Agent平台的综合平台

AI 中间件主要包括 AgentRuntime,AI 网关 等等

资料推荐:

首先是平台侧,对于大模型的工程化平台,开源的,我是最推荐 langfuse 的

https://github.com/langfuse/langfuse

langfuse 是 langsmith 的开源平替,包含可观测,评估,提示词管理,数据集管理等主流功能

机器学习平台就比较复杂了,这个主要是各个公司的内部平台,用于算法同学快速迭代的,所以开源的资料比较有限,但我也找到合适的可以学习的

https://github.com/kubeflow/kubeflow

目前最主流的 MLops 工程包,很多机器学习平台的核心功能都是通过这个的组件编排实现的,通过学习这个,就可以逐步理解机器学习平台的核心功能

此外还需要补充,k8s 和云原生相关的技术栈,用于优化模型的部署和调度。

此外还要学习 Ray 这个不可或缺的分布式框架

https://github.com/ray-project/ray

然后是中间件这边

AgentRuntime

智能体沙箱,用于安全,快速,高效的运行智能体应用,并且和 k8s ,serverless 等相关技术结合,实现毫秒启动和动态扩缩容

开源可以看看火山的子项目
https://github.com/volcano-sh/agentcube

AI 网关

只推荐阿里的开源 AI 网关 HIgress

https://github.com/alibaba/higress

AI网关除了一般网关的功能之外,还要支持,mcp托管,http无缝转mcp,模型路由等等,higress通过一个巧妙的插件系统接入了这些,并且还保留了大流量网关需要的核心功能
(这个项目的语义化检索mcp插件是我写的,感兴趣的牛友可以看看)

上面的这些,基本就把我认知中设计 AI 的开发岗位都讲的差不多了,其他评测平台和数据 pipline 搭建的,基本都是比较常规的技术栈,不太需要单独讲,比较喜欢鸡架的同学可以冲这些岗位。

后面的系列规划:
1. 从 0 - 1 实现一个 Agent 框架(教程 + 源码)可以写到简历上面的
2. 一些有意思的项目推荐,目前已经想好了两个,后面发一下
3. 自己的一些踩坑记录(比如后面暑期继续找垂直实习踩的坑#牛客AI配图神器#
#AI求职实录#
全部评论
快来框架
1 回复 分享
发布于 02-11 16:45 山东
蹲一个大佬后续Agent框架的实现
点赞 回复 分享
发布于 02-11 10:49 新加坡
老哥这整理的挺全面的啊
点赞 回复 分享
发布于 02-08 15:42 陕西
可以啊
点赞 回复 分享
发布于 02-06 16:26 山西
学到了 谢谢哥
点赞 回复 分享
发布于 02-06 16:26 内蒙古
进不去AI大厂 有没有小厂推荐
点赞 回复 分享
发布于 02-06 16:25 湖南
兄弟你太牛了!膜拜
点赞 回复 分享
发布于 02-06 16:25 江苏
感谢大佬
点赞 回复 分享
发布于 02-06 16:25 山东

相关推荐

核心理念:Agent 到底是什么?在架构师眼里,Agent 不是一个聊天机器人,而是一个具备感知、规划、执行能力的自治系统。它的通用架构公式是:Agent = LLM(大脑) + Planning(规划) + Memory(记忆) + Tools(手脚)这意味着,你需要构建一个能“思考-决策-行动-反思”的闭环系统,而不仅仅是生成文本。2026 年学习路线建议(6 个月速成)阶段目标具体行动第 1 个月夯实基础1. 刷完 Python 异步编程与 FastAPI 教程。2. 用 OpenAI API 写一个能查天气的简单脚本。第 2 个月框架实战1. 学习 LangGraph,构建一个“旅行规划 Agent”(能拆解步骤、调用搜索工具)。2. 理解状态(State)是如何在节点间流转的。第 3 个月记忆系统1. 本地部署 ChromaDB,将 PDF 文档灌入知识库。2. 实现一个“企业知识问答 Agent”,支持多轮对话记忆。第 4 个月工具集成1. 通过 MCP 协议,让 Agent 能安全地读写数据库或调用 GitHub API。2. 为你的 Agent 添加“代码解释器”功能(注意安全沙箱)。第 5 个月多 Agent1. 用 CrewAI 搭建一个“内容创作团队”:策划人 + 写手 + 校对员。2. 观察他们是如何通过消息队列协作的。第 6 个月生产级1. 用 Docker 打包你的 Agent,部署到云服务器。2. 接入 Prometheus 监控,并设计一套红队测试(对抗 Prompt 注入)。
想从事Agent应该学习...
点赞 评论 收藏
分享
评论
40
152
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务