美团 --未开放暑期京东 --未开放暑期快手 --未开放暑期字节跳动 --已开放腾讯 --已开放银泰百货 --未开放暑期灵犀互娱 --未开放暑期蚂蚁集团 --未开放暑期饿了么 --未开放暑期阿里云 --未开放暑期腾讯音乐 --已开放拼多多 --未开放暑期钉钉 --未开放暑期百度 --未开放暑期Shopee --未开放暑期菜鸟集团 --未开放暑期阿里国际 --未开放暑期阿里大文娱 --未开放暑期网易 --未开放暑期网易互娱 --未开放暑期小红书 --未开放暑期Bilibili --未开放暑期滴滴 --未开放暑期腾讯娱乐 --未开放暑期搜狐 --未开放暑期360 --未开放暑期小米 --未开放暑期...

这个写的很垃圾吗

大家自己看  

之前团队在做合同审查和研报问答两个 RAG 项目，踩了不少分块（Chunk）相关的坑。今天把这块经验整理一下，希望对正在做类似事情的朋友有点帮助。先搞清楚 Token 这个概念做 Chunk 之前，得先理解 Token。很多人把 Token 简单等同于"字"或"词"，这不太准确。Token 是模型实际处理的最小单元，中文大约 1.5-2 个字对应一个 Token，英文则大约是 0.75 个单词一个 Token。这件事为什么重要？因为不同类型的文档，Token 密度差异很大。我们实测过：一份 20 页的中文合同，大约 8000-12000 个 Token；...