因为老是有hr偷看我简历，然后老是搞推理框架和算子优化的，我决定从头学一遍并且总结出来。不搞芯片的不用学，这个吃学历和顶会的。也就是为什么我从一开始没搞这个，但是又收到了中科院和香港实验室之类的邀请。现在学好像有点晚了。。。。算啦，搞一下吧。然后其实你们看到的稿子都是我写剩下的，一般都是写好几篇到点就发的。本文需要先看了上期讲芯片的看了才容易点。那么正式开始吧，本文的话还是按照vllm举例，因为时间有限，我和你们的时间都有限，所以我只讲最简单，最通用的东西，第一点：基本上所有的推理优化都是优化Tensor Cores,第二点：其他的SM架构，cuda cores无法被优化，这个是硬件，vllm...

拿到书面offer前都不要提前高兴一周前三面结束，所有材料都交了，口头offer也给了，结果昨天下午发短信通知说内部审批没通过哎，只能说积累经验了

什么是 AutoGen？AutoGen（by Microsoft）是一个用于构建 多智能体 LLM 应用 的 Python 框架。它让你用“多个 AI 角色协作”的方式完成复杂任务，比如：程序员 + 审查员 + 测试员 协作写代码产品经理 + 工程师 讨论需求多个专家辩论一个问题可以认为这个是多模态多agent工作的配合框架，其中涉及到A2A协议，多agent之间的配合交互，节省token，接受输出。目前已经更新到0.75版本：其中其实和0.6版本的区别就是加了个：用于使用模型-上下文协议（MCP）服务器。//这个就是多模型的匹配通则，不同模型讲话是有方言的，等于官话，大伙都能搞明白。用于使用...