AI infra应该学什么？
AI Infra 是未来 5–10 年非常确定的岗位方向之一，而且相比纯算法岗，门槛更工程化、需求更大、年龄更友好。
AI Infra 技能栈
你可以把技能栈理解为 4 层：
第1层：基础工程能力（必须）
这是门槛：
- Linux
- Python / Go
- 计算机网络
- 操作系统
- Docker
- Kubernetes
- 数据库（MySQL / Redis）
- 分布式系统基础
- API开发（FastAPI / Flask）
- 并发 / 异步 / 队列（Kafka / RabbitMQ）
这一层本质是：后端工程师能力
第2层：AI工程能力
这一层开始进入 AI Infra：
- PyTorch 基础
- 模型推理（inference）
- 模型部署（TorchServe / Triton）
- ONNX / TensorRT
- vLLM / TGI / LMDeploy
- Embedding / 向量数据库MilvusFAISSWeaviatepgvector
- RAG（检索增强生成）
- Prompt 工程
- Agent 框架LangChainLlamaIndexAutoGenCrewAI
第3层：系统能力（高薪区）
这一层是专家岗做的事：
- GPU 调度
- 分布式训练（DeepSpeed / FSDP）
- 推理优化
- KV Cache
- Batch 推理
- Token 优化
- 成本优化
- 高并发系统设计
- 模型服务化（Model Serving）
- 多 Agent 系统架构
- Memory 系统
- Tool 调用系统
第4层：AI 平台能力（更偏架构）
例如：
- AI 平台
- 数据平台
- 训练平台
- Agent 平台
- Prompt 平台
- Evaluation 平台
- Feature Store
- 实验平台
这一层已经是 架构师 / Infra负责人 级别。
对应岗位名称
你以后找工作不要只搜“AI工程师”，要搜这些：
常见岗位名：
- AI Infra 工程师
- 机器学习平台工程师（ML Platform）
- MLOps 工程师
- LLM Infra 工程师
- 推理工程师（Inference Engineer）
- 模型部署工程师
- AI 后端工程师
- AI 平台工程师
- GPU / 分布式训练工程师
- 向量检索工程师
- RAG 工程师
- Agent 平台工程师
公司 JD 关键词：
- RAG
- Agent
- LLM
- vLLM
- Triton
- TensorRT
- 向量数据库
- Kubernetes
- 推理优化
- 高并发
- 分布式
- GPU
看到这些词，基本就是 AI Infra 岗。
入行路径
路线1（最推荐）：后端 → AI Infra
路径：后端工程师 → AI后端 → RAG工程师 → AI Infra工程师
先学：
- Python
- FastAPI
- MySQL / Redis
- Docker
- Linux
然后做项目：
- 做一个 RAG 问答系统
- 做一个 Agent 调用工具系统
- 部署一个开源模型
- 做一个向量检索系统
- 做一个多 Agent workflow
你只要能做出：
- 文档问答系统（RAG）
- Agent 自动调用工具
- 模型部署 API
- 高并发请求处理
就已经是 AI Infra 初级工程师水平 了。
建议做的项目方向
如果你真的想入行，建议做这 4 个项目写在简历上：
- 本地部署大模型 + API 服务vLLM / Ollama / LMDeployFastAPI 提供接口
- RAG 系统文档 → 切分 → embedding → 向量数据库 → 检索 → LLM生成
- Agent 系统LLM + Tool 调用例如：自动查天气 / 查数据库 / 发邮件 / 调接口
- 高并发测试压测缓存队列限流
你可以用这个判断自己是否进入 AI Infra：
如果你每天在做的是：
- 调 Prompt → 偏应用
- 训练模型 → 偏算法
- 做 RAG → AI工程
- 做 Agent → AI工程
- 部署模型 → AI Infra
- 优化推理速度 → AI Infra
- GPU 调度 → AI Infra
- 成本优化 → AI Infra
- 高并发系统 → AI Infra
查看8道真题和解析