因为老是有hr偷看我简历，然后老是搞推理框架和算子优化的，我决定从头学一遍并且总结出来。不搞芯片的不用学，这个吃学历和顶会的。也就是为什么我从一开始没搞这个，但是又收到了中科院和香港实验室之类的邀请。现在学好像有点晚了。。。。算啦，搞一下吧。然后其实你们看到的稿子都是我写剩下的，一般都是写好几篇到点就发的。本文需要先看了上期讲芯片的看了才容易点。那么正式开始吧，本文的话还是按照vllm举例，因为时间有限，我和你们的时间都有限，所以我只讲最简单，最通用的东西，第一点：基本上所有的推理优化都是优化Tensor Cores,第二点：其他的SM架构，cuda cores无法被优化，这个是硬件，vllm...

只能走一步看一步了🤓😰

收到评论区的朋友邀请，我写一下这个教学，我本人是java转行，所以还是有java的基础，不讲废话哦，直接开始，一、LangChain4j 是什么？Java 实现的 LangChain 框架让你用 Java 调大模型（如 OpenAI）、加记忆、连知识库、做 Agent核心思想：Model + Prompt + Chain = App说白了也就那一套，前端还是tomcat之类的。然后很多朋友还会问也没有类似fastapi的前端框架，现在正常的话是几步走，首先假设我们有三年开发经验，（现在是面试吹牛时间）那么第一步就是了解需求，第二步骤是技术选型，第三步是和产品或者其他伙伴讨论可行性，第四步就是问...