华为bg保温

因为老是有hr偷看我简历，然后老是搞推理框架和算子优化的，我决定从头学一遍并且总结出来。不搞芯片的不用学，这个吃学历和顶会的。也就是为什么我从一开始没搞这个，但是又收到了中科院和香港实验室之类的邀请。现在学好像有点晚了。。。。算啦，搞一下吧。然后其实你们看到的稿子都是我写剩下的，一般都是写好几篇到点就发的。本文需要先看了上期讲芯片的看了才容易点。那么正式开始吧，本文的话还是按照vllm举例，因为时间有限，我和你们的时间都有限，所以我只讲最简单，最通用的东西，第一点：基本上所有的推理优化都是优化Tensor Cores,第二点：其他的SM架构，cuda cores无法被优化，这个是硬件，vllm...

找不到到，根本找不到😭😭😭😭😭  ，没办法，只能伪装27了😿

这些天背后端八股，不知道为什么总感觉看不完，每天基本学习都是8h+，不过我也只是开学才开始准备（后悔暑假开摆了）。刚看完一个知识点，很快又忘记，又需要重新回顾。而后端八股的体量又很大，再加上一些计算机基础知识，让我觉得想要能达到吟唱的程度十分吃力。累的时候刷刷牛客的面经，发现又有很多我没见过的内容，如果我来面的话根本答不上来。并且我对业务以及业务延伸出来的八股，无法达到很多大佬的水平😑八股原本是古代科举的考试项目，而当今却在如此内卷的环境下，让面试延伸出一种也叫八股的东西。只能说八股这两个字真的是十分贴切👍，不背的话根本没法通过面试，都要去死记硬背。当然，我们可以结合自己的代码理解，让八股变得不再那么晦涩。一天的学习下来，我得到的正向反馈很少，总是觉得自己的知识面很狭窄，同时也对未来的就业充满焦虑。目前身边去了中大厂日常的基本都是前端多，可能是因为学习的周期比后端短。那么问题来了，我学后端是为了什么呢🤔难道我是m😱

前言 你问大模型一句：“今天天气如何？”，它可能给你查一下本地今天的天气。 你再问它：“那北京的呢？”，他开始科普起了北京，完全忘了上文中的对话，推算出我们是需要他接着回答北京的天气。 以上是发生在早期各家 AI 助手中出现的问题，丢失上下文记忆。随着技术的发展，模型越来越“大”，这个问题出现的时间点（对话轮数）也越来越靠后。那么问题来了，模型是如何记住上下文的？我们该如何优化，在有限上下文中做更多事情？ 大模型根本不记 下面是我在开发AI应用的一个简单的解析图  是的，没错。我们每次的对话，包括之前的内容，都要一起发送给大模型。大模型本身不会去存储这些内容。既然不用存储，那如果不限制时间，岂...