基于“滑动窗口+重叠”的切分可缓解边界截断
句子级切分必须保证每个chunk的token数严格相同
语义递归切分按段落→句子→字符逐步降级
固定长度切分不会破坏语义完整性
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题