全量数据入口方案

1. 方案综述

本方案旨在构建一套标准化、高可用的“全量数据入口”，解决知识库建设中数据源异构、更新延迟大、质量不可控等痛点。通过统一的接入架构，实现从源端采集到 RAG 索引构建的全链路自动化。

基础采集与质量治理流程见 docs/05-data-pipeline-and-quality.md，本文侧重工程化与可观测的深度方案。

2. 目标与范围

• 覆盖采集、清洗、索引、发布的全链路能力。
• 支持多数据源统一接入与稳定运行。
• 具备可追溯的数据血缘与版本治理。

3. 关键指标与验收标准

3.1 性能指标 (KPI)

• 更新时延：热数据 < 5 分钟，冷数据 < 24 小时。
• 采集成功率：> 99.9%（含重试）。
• 去重准确率：100%（基于内容指纹）。

3.2 验收标准

• 所有接入源具备自动化 Schema 映射配置。
• 可视化的数据血缘追踪能力。
• 支持通过文档系统接口发布更新记录。

4. 总体架构与分层设计

系统采用经典的 ETL-RAG 分层架构，确保数据处理的解耦与可扩展性。

5. 核心组件与接口定义

6. 端到端流程与发布机制

1. 新源接入与配置：配置连接信息、Schema 映射与采集频率，完成连通性测试。
2. 采集与解析：按计划拉取数据并解析为标准中间格式，生成指纹去重。
3. 清洗与规范化：类型转换、脱敏、无效过滤，通过质量校验进入待发布区。
4. 索引构建与向量化：文本分块、生成向量，写入向量库与全文索引。
5. 灰度发布与上线：新批次先入灰度索引，通过评测后合并主索引。

7. 发布与迭代记录

文档发布与迭代记录已在知识库文档系统中统一规范，本方案仅引用：

• 发布与鉴权接口：docs/18-docs-rest-api.md
• 迭代记录模板：docs/21-iteration-template.md
• 文档管理流程：docs/17-docs-management.md

8. 关联文档

• docs/05-data-pipeline-and-quality.md：数据处理与质量治理
• docs/28-crawling-and-sync.md：稳定爬取与同步策略
• docs/27-rag-pipeline.md：RAG 索引构建流水线