腾讯前端

最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

她只知道我"在找工作"。每次视频她都问："今天怎么样啊？"我能怎么说？"今天笔试挂了一场"？"今天面试没过"？"今天投的简历已读不回"？说了她也不懂"笔试""AI面""HR面"都是啥。她只会跟着着急。所以我每次都说："还行。"她就放心了。然后开始跟我聊家里的狗下崽了、小区门口的超市关门了、隔壁奶奶摔了一跤。这种对话我以前觉得啰嗦，现在我就想听她说这些。比什么"加油宝贝"有用多了。

一些自己在网上搜刮的面经题目路过的牛爷爷可以试着答一答，附上自己的答案，如果有更好的答案也可以拷打我，如果有别的比较好的题目也可以评论里发一发。 如何评估 RAG 效果？指标是什么？ 分层评估：  检索质量评估：看如HitRate（命中率），Recall（召回率）等指标 生成质量评估：看如相关性（是否切题）、忠诚度（生成是否基于检索内容生成）、完整性（生成答案是否完整） 用户满意度测评：答案是否满意，检索速度够不够块。  RAG 和微调怎么取舍？ RAG适合更新频率高，存在隐私数据以及需要可解性性要求高需要稳定输出的场景。 微调适合需要特定规则以及语气的使用场景。 这两个技术在大部分场景下都不...