文档切块
也叫:Chunking · 文本切块 · 知识库切块
文档切块把长内容拆成可嵌入和检索的片段,块长、重叠、标题与解析质量都会影响知识库回答。
他们说
在嵌入与检索前按长度、结构或语义切分文档
老白翻译
把长文件分成一段段,检索时能拿回完整的那一小段。
它到底是什么
文档切块是知识库入库前的一道处理。系统把长文件拆成多个片段,每个片段单独生成向量并进入索引,检索时再找与问题最相关的片段。
生活里的例子
一份维修手册可以按产品、故障码和处理步骤切开。用户问到某个错误码时,系统取回对应步骤,不必把整本手册都交给模型。
常见误解
- 误解:块越小检索越准。 切得太碎会把问题与答案拆开,片段失去上下文。
- 误解:统一按五百字切就够了。 合同、表格和聊天记录需要不同边界。
- 误解:切块只看正文。 标题、页眉页脚、图片与表格的解析结果也会影响检索。
普通人怎么用
挑一批真实问题,标出答案所在原文。比较几种块长、重叠和标题保留方式,检查前几条检索结果能否带回完整答案与来源位置。