AI应用工程师核心技术栈分享

作为一名正在摸索入行的 AI 应用工程师新人，我把近期收集的资料做了一次系统梳理，聚焦岗位核心能力，把从大模型应用开发、模型调优到工程化部署的全链路技术栈拆解开。一方面给自己定一个清晰的学习方向，避免在海量知识点里越学越乱；另一方面也分享给同样在入门的牛友，一起参考、一起进步。
一、核心应用技术
1. 提示工程 Prompt Engineering
需要熟练掌握角色设定、思维链 CoT、零样本 / 少样本学习、格式约束、抗幻觉等通用技巧；针对 GPT-4o、LLaMA 3、Qwen、Claude 等不同模型做提示词适配，根据问答、摘要、翻译、代码生成等任务做针对性优化。
实战上要能搭建可复用的提示词模板库，支持参数化调用和效果评估，解决模型输出不稳定、格式乱、语义跑偏等问题。
2. 检索增强生成 RAG
RAG 是解决大模型幻觉、落地知识密集型场景的关键，要求能完整搭建一套端到端系统。
核心流程包括：
文档处理：多格式加载（PDF/Word/TXT/ 网页）、多种文本切分策略
向量工程：嵌入模型选型、向量生成与效率优化
检索优化：向量检索、混合检索、重排序，提升召回与准确率
生成优化：上下文压缩、查询改写、检索结果融合
进阶方向可以了解模块化 RAG、GraphRAG、知识库增量更新等方案。
3. LLM Agent 开发
基于 LangChain /llamaIndex 搭建 Agent，掌握任务拆解、工具调用、结果整合、记忆管理的完整流程；能自定义工具（API、数据库、计算器、外部服务等），设计调用逻辑与失败重试机制。
实战要求实现多工具协同、长短记忆管理，能处理数据分析 + 报告生成、多轮复杂问答等场景。
二、模型调优与后训练
1. 监督微调 SFT
能完整设计 SFT 流程：数据集构建与清洗、模型选型、学习率等超参调优；熟练使用 LoRA / QLoRA 轻量化微调，基于 PEFT 库在普通显卡上完成训练，控制显存和成本。
最终要能在分类、对话、意图识别等任务上落地微调，并输出对比评估结果。
2. 强化学习与偏好对齐
了解 RLHF、DPO 的基本思路，能用 TRL 等开源库做简单的偏好对齐训练，减少模型幻觉、违规输出，让生成内容更贴合业务规则。
3. 模型压缩与推理优化
掌握 INT4/INT8 量化、剪枝、知识蒸馏，用 BitsAndBytes、GPTQ 等工具在可控效果损失下压缩模型；能将模型转为 ONNX / TensorRT，支持本地与边缘部署，提升推理速度。
三、工具与框架体系
语言与基础：Python、Pandas、Numpy 数据处理
深度学习框架：PyTorch、TensorFlow，Hugging Face 全套生态
应用开发框架：LangChain、llamaIndex
API 服务：FastAPI、Flask 封装接口，对接 OpenAI、智谱、通义千问等商用 API
四、数据存储与检索
结构化存储：MySQL/PostgreSQL 存用户、配置、日志
缓存：Redis 做缓存、会话管理、降低重复调用成本
搜索引擎：Elasticsearch 做关键词检索
向量库：FAISS、Milvus 搭建向量知识库，支撑高并发 RAG 检索
五、工程化部署与监控
Docker 容器化打包，docker-compose 多组件部署
日志与监控：ELK、Prometheus + Grafana 监控接口、推理性能、资源占用
安全合规：密钥加密、权限控制、数据脱敏，满足企业安全要求
六、前沿技术与行业认知
持续关注 LLaMA 3、Qwen、Mistral 等开源模型迭代，以及 LangChain 等工具更新；了解多模态、智能体进化、Modular RAG、知识图谱融合等方向；结合企业服务、智能制造、智能客服等落地案例，学会把技术和业务场景结合，给出可落地方案。 #从事AI岗需要掌握哪些技术栈？#