等华子把自己等成🤡的模样

之前团队在做合同审查和研报问答两个 RAG 项目，踩了不少分块（Chunk）相关的坑。今天把这块经验整理一下，希望对正在做类似事情的朋友有点帮助。先搞清楚 Token 这个概念做 Chunk 之前，得先理解 Token。很多人把 Token 简单等同于"字"或"词"，这不太准确。Token 是模型实际处理的最小单元，中文大约 1.5-2 个字对应一个 Token，英文则大约是 0.75 个单词一个 Token。这件事为什么重要？因为不同类型的文档，Token 密度差异很大。我们实测过：一份 20 页的中文合同，大约 8000-12000 个 Token；...

###

快，各位大神，给我分享分享经验

PS：哈哈哈，这应该是我发的最后一个23届考研的了，从25年12月份开始，23届考研的找我，我已经开始拒绝安排了，怕搞不定，不好意思面对你们，嘿嘿。1.背景：23届9本，大二转专业到软件工程，一直到临毕业时都在清考所以没有秋招春招，毕业后一直在考研，第一次大四疫情原因缺考，第二次22408未过校线，第三次334但gap+三无因素拉满最终软件所复试未通过，时间太晚4.1错过调剂遂放弃，考虑到空窗期太长且无工作经验，最终选择华为od2.经历：2.1准备时间线25年4月末开始接近0基础重学java和数据结构，同时慢慢刷力扣题，8月末开始刷了两个月od题库，主要集中在7月的c卷和9月的双机位a卷。10...