之前团队在做合同审查和研报问答两个 RAG 项目，踩了不少分块（Chunk）相关的坑。今天把这块经验整理一下，希望对正在做类似事情的朋友有点帮助。先搞清楚 Token 这个概念做 Chunk 之前，得先理解 Token。很多人把 Token 简单等同于"字"或"词"，这不太准确。Token 是模型实际处理的最小单元，中文大约 1.5-2 个字对应一个 Token，英文则大约是 0.75 个单词一个 Token。这件事为什么重要？因为不同类型的文档，Token 密度差异很大。我们实测过：一份 20 页的中文合同，大约 8000-12000 个 Token；...

投了很多没有hr鸟我

- 27届双非本，比赛打废了- 无考研打算，准备就业----又修改了一下简历----再度爆改简历。

部署了一个文字转语音模型，叫kokoro。相信大家有过了解当时想着是转英文文章给我练听力用，后来又想加中文加日文。问 给迷你 半天，告诉我一佰万个错误地址，没一个是能用的。后来成功装上了一个版本，没有日文，给迷你 死鸭子嘴硬，硬说有日语。浪费了我5g流量之后终于承认错误：您说的对，确实没有日语版本！