最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

避雷上海万达信息股份有限公司，离毕业还有两个月毁三方

在 AI 应用的场景中，rag可以说是一项必备的技术，在智能客服，导购 agent，智能创作等有检索需求的场景都会使用到，所以这里结合一些实际的应用场景和大家做一些分享一，数据准备数据准备是 rag 整个流水线中非常重要的一环，所以在实际的生产场景中，也主要是看数据解析，以及使用不同的向量库落库的过程 文件解析（pdf，docx，txt，md）目前常见的文件解析，就是利用 Apache tika 等开源库做解析组件，但对于一些富文本的数据，比如有图片和表格的情况，就要借用 ocr 等辅助手段大表格处理表格是比较常见的数据类型之一，但是大表格解析通常会有一些问题比如在切块的时候如果每一行都作为 ...