华为南研所

大家好，我是二哥呀。 用 AI 写代码、跑 Agent 这大半年，最大的感受就是——模型能力确实越来越强了。 但确实也是真的贵，Claude Code+Codex 我每个月要 400 多刀。 对于普通人来说，这是一笔不菲的开销啊，苍天可见，我也是真舍不得，但也是真离不开。😄 索性，兄弟们，总有雷哥想办法。上周在 GitHub 上刷到一个项目，README 第一行写着“每月 13 亿免费 Token”。  https://github.com/tashfeenahmed/freellmapi   已经 6.2k star了。 01、FreeLLMAPI 是什么 先说清楚这东西干了什么。 Fre...

煮包 自己bg211本科 项目就做了xfg的星球项目 不过太复杂了还没吃透 想问一下这份简历找暑期实习问题在哪 投了很多都没回应

我简历到底怎么样啊，现在马上5月份了，还没有找到暑期实习😥

最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...