RAG 工程化 · 2026-09-18 · 12 min
RAG 工程化:从切片到溯源的 7 个决策
在字节的电商客服项目里,我把 Recall@5 从 0.72 推到 0.93。真正起作用的不是换模型,而是七个工程决策:切片粒度、元数据、双路召回、融合、重排、溯源与回归评测。
01 切片:先想清楚「一个可回答单元」
分块不是文本长度的数学题,而是业务语义题。
按文档结构切,而不是按字符数切
最常见的失败是 512 token 固定窗口。它会把一张表格切成两半,把「3.2 退款条件」的标题和内容分到两个 chunk 里。检索时命中标题却没有正文,模型只能瞎编。
我的做法是先用解析器恢复结构:标题层级、列表、表格、图片说明。然后以「最小完整语义单元」为切片边界——一个条款、一段问答、一张表。超长单元再按句号与列表项二次切。
def adaptive_chunk(node, limit=420):
# 结构优先:标题 + 正文构成一个语义单元
if node.is_heading_group and node.tokens <= limit:
return [build_chunk(node, meta=node.path)]
# 超长时按句子边界退让,保留父子引用
pieces = split_by_sentence(node.text, limit)
return [build_chunk(p, parent=node.id) for p in pieces]
元数据决定你能不能溯源
每个 chunk 必须带:文档 ID、页码、标题路径、生效时间、业务域。少一个,你在做「来源追溯」时就得回头重跑全量入库。
- doc_id / chunk_id:用于前端高亮定位原文
- page + bbox:PDF 直接跳到对应页
- path:标题路径,让模型知道这段在讲什么层级的内容
- effective_at:政策类文档必须带,否则新旧条款会互相污染
02 召回:双路 + 融合 + 重排
单一向量召回只解决「像」,解决不了「准」。
BM25 与向量的分工
向量擅长语义近似,BM25 擅长精确命中(订单号、政策编号、专有名词)。用户问「S6 系列退货政策」时,BM25 把精确词抓回来,向量补足「退货」与「七天无理由」的语义桥接。
dense = index.search(vec, k=40) # 语义召回
sparse = bm25.search(query, k=40) # 关键词召回
fused = rrf([dense, sparse], k=60) # Reciprocal Rank Fusion
top = reranker.rerank(query, fused[:20])[:6]
RRF 的价值在于不需要把两路分数归一化,只融合排名,稳定且几乎不用调参。k=60 是论文默认值,我在业务集上试过 30/60/100,差异在 0.01 以内。
重排是性价比最高的一步
把 Top-20 交给 cross-encoder 重排到 Top-6,比换 Embedding 模型便宜得多,而且收益立刻体现在 Recall@5 和答案忠实度上。
| 策略 | Recall@5 | 首字延迟 | 备注 |
|---|---|---|---|
| 纯向量 Top-5 | 0.72 | 320ms | 基线 |
| 双路 + RRF | 0.84 | 390ms | 改动最小 |
| 双路 + RRF + 重排 | 0.93 | 640ms | 上线方案 |
03 溯源:让用户敢信
没有引用的 RAG,只是一个更会说谎的搜索框。
引用不是装饰,是契约
回答的每一句关键结论都该绑定 chunk_id。前端把引用渲染成可点击的胶囊,点开定位原文并高亮。做不到这一点,客服场景就没法上线。
当模型知道「说出来就要拿出处」时,它的拒答率会上升,但用户信任度会翻倍。
评测集要跟着业务长
8 类业务场景、200 条评测样本、30 条人工校准。每次改切片或模型都全量回归,指标不许降。
- Recall@5 / MRR:检索层
- Faithfulness / Answer Relevancy:生成层
- 拒答正确率:该说不的时候说不
- 人工校准:Judge 打分的下限保护