AAA孝总自2025AI元年以来已从事AI infra AI Agent等领域深耕一线实战AI项目，架构设计至今落地超百万下面，此处 呕心沥血制作。望大家以此为参考，以此为出发点，拓展发散，快速入门AI，赶上AI潮流。

一、AI Infra技术栈

AI Infra简单来说就是AI基础设施，主要从事AI模型推理、训练两个领域进行深耕。其中从下到上包括但不限于：

1.硬件层：A100、H100、4090、TPU、NPU（注意了解英伟达不同架构的演进与NVlink，算力形式，以及NPUGPUCPU等推理区别）

2.底层使能：CUDA toolkit，NVCC编译器（附昇腾NPU：毕昇编译器）

3.GPU加速：cuBLAS/NCCL等*（附昇腾NPU：HCCL）

4.大模型框架：Pytorch、megatron等（附昇腾：Mindspore双栈并行）

5.推理引擎层：vLLM、SGlang等

6.模型层：transformer架构（注意多注意力头、注意力机制，主流模型deepseek，Qwen等稀疏注意力机制等。）专家，Moe，dense，蒸馏，模型架构，模型量化，模型参数等。

7.Agent应用

AI infra极度推荐有算法能力，数学能力强大，开发能力强大且具有NLP经验的同学入局，极度高薪（可能7尾数年薪）

二、AI Agent应用开发

个人认为算是AI研发序列中最简单的领域。孝总资质尚浅，凭着些许项目经验分享一二：

1.Agent常用场景：智能问答、智能问数、多轮对话、合同比对 and so on

2.常用平台：langchain，langgraph，dify，opencode，openclaw，扣子。（或许还有一些其他的平台，例如trae，cursor。

3.常用技术：fuctioncall，mcp，skills，前缀续写，缓存命中，格式化输出。

4.常用参数：prompt，系统提示词，项目提示词，温度，topk。

AI Agent应用开发可以说是门槛很低的AI研发序列，许多程序员在往这个方向转，孝总个人认为，当前需求暴涨，近几年可以狠吃红利，但未来极有可能面临红海局面。

三、如何聊AI？

一个词：由浅入深。

首先你需要学习我一、二里面的所有专用名词，不要求你背诵，至少要知会。

其次你需要尽可能了解对方想了解具体是哪些地方？

如果他关注模型能力，那你就需要具备：

模型测评、模型参数、模型精度，比如说在SWE-bench 我这个模型的能力为XX，超过了XXX（参照物，可选择国外模型为参照）

如果他是一个算力服务商，那你就需要具备：

XX模型,TTFT（首token），TPOT（增量），并发，吞吐（极度重要，性价比）。等内容

如果他是一个api中转，那你就需要具备：

XXTPM，RPM，SLA多少（99.99%？99.95%）

如果他是客户的Agent的CTO，对技术贼敏感。

那你就需要展示你对AI解决方案的了解，主动突出你们的技术能力，能给客户带来多高的性价比，你的极限性能是多少，你支持的模型又是哪些，你的训练配套基础设施有多完善？

核心来了，如果他是面试官你应该怎么办？

此时，你就需要体现你的词汇量的巨大了，能用prompt说的一定不要用提示词三字代替。能扯多点技术的一定不要单技术代替。

举个例子，如果面试官说RAG，你除了Embedding、reranker之类的模型以外，你还要提到非结构化数据，和结构化数据存储，这样就证明你真的有端到端的项目能力，而非点对点的。

四、忠言逆耳

我说白了，AI时代了，还有人在想着自己在某一个技术里深耕。这个不亚于去炒币。

纵向只适合少数人，横向才是大部分人的宿命。

AAA孝总是半个AI小白，各位轻喷