因为老是有hr偷看我简历，然后老是搞推理框架和算子优化的，我决定从头学一遍并且总结出来。不搞芯片的不用学，这个吃学历和顶会的。也就是为什么我从一开始没搞这个，但是又收到了中科院和香港实验室之类的邀请。现在学好像有点晚了。。。。算啦，搞一下吧。然后其实你们看到的稿子都是我写剩下的，一般都是写好几篇到点就发的。本文需要先看了上期讲芯片的看了才容易点。那么正式开始吧，本文的话还是按照vllm举例，因为时间有限，我和你们的时间都有限，所以我只讲最简单，最通用的东西，第一点：基本上所有的推理优化都是优化Tensor Cores,第二点：其他的SM架构，cuda cores无法被优化，这个是硬件，vllm...

#实习#

调用大模型如通义千问 token限制 关系收费标准，token限制指输入或输出的字数嘛？如何利用缓存最大化效益，面试官说把system_prompt做缓存？？没明白啥意思 面试官说的“System Prompt缓存”：核心优化策略这绝对是一个高级且实用的优化技巧。我们来理解一下他的意思。为什么可以缓存？在多次对话中，这个 System Prompt 通常是不变的。但在标准的API调用里，你每次请求都需要把它和用户问题一起发送，这意味着你需要为这段重复的文本反复支付输入Token的费用。