数据采集与质量治理 (Data Pipeline & Quality)

1. 数据流概览

1. 采集层 (Ingestion)：API 拉取 / Web 采集 / 文件下载
2. 预处理 (Pre-processing)：格式转换、OCR、编码统一
3. 标准化 (Normalization)：字段映射、分类对齐、时间与金额归一
4. 实体消歧 (Entity Resolution)：企业/项目/标段去重与合并
5. 分析层 (Analytics)：指标计算、聚合、标签画像
6. 服务层 (Serving)：搜索索引、分析 API、报表导出

2. 采集策略

• 增量采集：按更新时间/公告编号/游标拉取
• 全量补偿：源数据更新异常时触发全量回补
• 延迟控制：核心数据源 10-30 分钟级更新
• 频控：为每个数据源配置 QPS/并发限制与退避策略

3. 处理流水线 (Pipeline)

• Raw Layer：存储原始 HTML/JSON/PDF
• Clean Layer：结构化字段抽取与清洗
• Normalized Layer：映射到统一字段与分类
• Master Layer：消歧合并后的主数据

4. 数据清洗与标准化规则

• 金额：统一到 RMB，保留原币种与原始文本
• 时间：统一 ISO-8601；公告/开标/中标/合同/履约时间分字段
• 地区：统一到省/市/区三级码（行政区划码）
• 行业：映射到统一行业树（支持 2-4 级）
• 采购方式：统一枚举（公开招标/邀请招标/谈判/询价/单一来源）

5. 实体消歧 (ER) 规则

• 企业名称同义词库 + 工商统一社会信用代码
• 地址与电话相似度匹配
• 项目标识基于“标题 + 招标编号 + 时间 + 采购方”

6. 数据质量指标

• 覆盖率：按数据源与区域统计
• 完整率：关键字段（项目名称、金额、地区、时间）
• 及时性：采集延迟指标
• 准确性：抽样核对与人工复核

7. 数据治理与血缘

• 每条数据记录 source_id、source_url、crawl_time
• 版本控制：保留原始记录与标准化记录
• 变更记录：字段级变更审计