AI Infra 是未来 5–10 年非常确定的岗位方向之一，而且相比纯算法岗，门槛更工程化、需求更大、年龄更友好。

AI Infra 技能栈

你可以把技能栈理解为 4 层：

第1层：基础工程能力（必须）

这是门槛：

• Linux
• Python / Go
• 计算机网络
• 操作系统
• Docker
• Kubernetes
• 数据库（MySQL / Redis）
• 分布式系统基础
• API开发（FastAPI / Flask）
• 并发 / 异步 / 队列（Kafka / RabbitMQ）

这一层本质是：后端工程师能力

第2层：AI工程能力

这一层开始进入 AI Infra：

• PyTorch 基础
• 模型推理（inference）
• 模型部署（TorchServe / Triton）
• ONNX / TensorRT
• vLLM / TGI / LMDeploy
• Embedding / 向量数据库MilvusFAISSWeaviatepgvector
• RAG（检索增强生成）
• Prompt 工程
• Agent 框架LangChainLlamaIndexAutoGenCrewAI

第3层：系统能力（高薪区）

这一层是专家岗做的事：

• GPU 调度
• 分布式训练（DeepSpeed / FSDP）
• 推理优化
• KV Cache
• Batch 推理
• Token 优化
• 成本优化
• 高并发系统设计
• 模型服务化（Model Serving）
• 多 Agent 系统架构
• Memory 系统
• Tool 调用系统

第4层：AI 平台能力（更偏架构）

例如：

• AI 平台
• 数据平台
• 训练平台
• Agent 平台
• Prompt 平台
• Evaluation 平台
• Feature Store
• 实验平台

这一层已经是 架构师 / Infra负责人 级别。

对应岗位名称

你以后找工作不要只搜“AI工程师”，要搜这些：

常见岗位名：

• AI Infra 工程师
• 机器学习平台工程师（ML Platform）
• MLOps 工程师
• LLM Infra 工程师
• 推理工程师（Inference Engineer）
• 模型部署工程师
• AI 后端工程师
• AI 平台工程师
• GPU / 分布式训练工程师
• 向量检索工程师
• RAG 工程师
• Agent 平台工程师

公司 JD 关键词：

• RAG
• Agent
• LLM
• vLLM
• Triton
• TensorRT
• 向量数据库
• Kubernetes
• 推理优化
• 高并发
• 分布式
• GPU

看到这些词，基本就是 AI Infra 岗。

入行路径

路线1（最推荐）：后端 → AI Infra

路径：后端工程师 → AI后端 → RAG工程师 → AI Infra工程师

先学：

• Python
• FastAPI
• MySQL / Redis
• Docker
• Linux

然后做项目：

• 做一个 RAG 问答系统
• 做一个 Agent 调用工具系统
• 部署一个开源模型
• 做一个向量检索系统
• 做一个多 Agent workflow

你只要能做出：

• 文档问答系统（RAG）
• Agent 自动调用工具
• 模型部署 API
• 高并发请求处理

就已经是 AI Infra 初级工程师水平 了。

建议做的项目方向

如果你真的想入行，建议做这 4 个项目写在简历上：

1. 本地部署大模型 + API 服务vLLM / Ollama / LMDeployFastAPI 提供接口
2. RAG 系统文档 → 切分 → embedding → 向量数据库 → 检索 → LLM生成
3. Agent 系统LLM + Tool 调用例如：自动查天气 / 查数据库 / 发邮件 / 调接口
4. 高并发测试压测缓存队列限流

你可以用这个判断自己是否进入 AI Infra：

如果你每天在做的是：

• 调 Prompt → 偏应用
• 训练模型 → 偏算法
• 做 RAG → AI工程
• 做 Agent → AI工程
• 部署模型 → AI Infra
• 优化推理速度 → AI Infra
• GPU 调度 → AI Infra
• 成本优化 → AI Infra
• 高并发系统 → AI Infra