# 稳定爬取与多数据源同步更新架构与策略

本方案旨在构建一套高可用、可扩展的数据采集与同步系统，确保多源异构数据的实时性与一致性。方案涵盖从底层爬取稳定性治理到上层编排观测的全链路设计，重点解决增量同步、幂等去重及故障回填等核心工程挑战。

基础采集与质量口径见 `docs/05-data-pipeline-and-quality.md`，本文聚焦爬取稳定性与同步策略。

## 1. 稳定爬取架构设计

构建分层解耦的爬取架构是稳定性的基石。通过将采集、缓冲、处理与存储分离，系统能够有效应对上游数据源的不稳定性和流量波动。

### 1.1 核心组件架构

系统采用“连接器-队列-执行器”的三层架构，确保高吞吐与隔离性。

- 接入与缓冲层
  - 多源连接器(Connectors)：针对不同数据源(REST API, RPC, HTML, Database)实现标准化适配接口。
  - 缓冲队列(Queues)：使用 Kafka/RabbitMQ 削峰填谷，避免突发流量压垮下游。
- 治理与控制层
  - 限流与隔离：基于令牌桶算法实现每域名/IP 的限流，防止被封禁；不同业务源物理隔离。
  - 指纹去重：使用 Bloom Filter + Redis 存储内容指纹(SimHash/MD5)，防止重复采集。

### 1.2 容错与成本策略

| 策略模块 | 实施方案 | 业务价值 |
| --- | --- | --- |
| 失败重试 | 指数退避(Exponential Backoff) + 随机抖动(Jitter) | 避免雪崩效应，提高临时故障恢复率。 |
| 抓取模式 | 优先 API > 静态 HTML > Headless 渲染(Puppeteer/Playwright) | 平衡数据完整性与计算资源成本。 |
| 成本控制 | 动态代理池调度 + 闲时错峰采集 | 降低带宽与代理 IP 费用，提升资源利用率。 |

## 2. 增量/全量更新与触发机制

数据同步策略需在时效性与一致性之间取得平衡。采用“全量初始化 + 增量实时同步”的混合模式。

### 2.1 同步模式对比与选择

| 触发方式 | 适用场景 | 实现要点 |
| --- | --- | --- |
| 周期计划(Cron) | 无主动通知能力的被动数据源 | 轮询 updated_at 或版本 Hash；扫描 OpLog/BinLog 捕获变更 |
| 事件驱动(Event) | 高实时性要求场景 | Webhook 主动推送变更事件；监听业务总线 Domain Events |

### 2.2 一致性与冲突处理

- 幂等写入：基于唯一键(Primary Key/Unique Index)的 Upsert 操作，确保重复消息不导致数据重复。
- 双写一致性：采用 Cache Aside Pattern 或“延迟双删”，优先保证数据库一致性。
- 冲突解决：使用版本向量(Version Vector)或 Last-Write-Wins 策略。

## 3. 质量保障与回填机制

数据质量是系统的生命线，需要多维度监控与自动修复体系。

### 3.1 异常检测与告警分级

| 级别 | 场景 | 响应 |
| --- | --- | --- |
| P0 阻断级 | 核心数据源连通性失败、Schema 变更导致解析全挂 | 电话/SMS 立即通知 On-call 工程师 |
| P1 偏差级 | 数据量环比下跌 > 20%，字段缺失率 > 5% | IM 群通知，4 小时内响应 |
| P2 提示级 | 爬取延迟微增，非核心字段解析警告 | 周报汇总，定期优化 |

### 3.2 回填与对账流程

- 自动检测：每日生成数据对账报告，对比源端记录数与目标端入库数。
- 自动补录：对轻微缺失(<1%)触发特定时间窗口的重跑任务(Re-run DAG)。
- 人工介入：自动补录失败或缺失严重时生成工单，工程师介入修复解析逻辑。

## 4. 编排与可观测性

复杂的任务依赖与分布式环境需要强大的编排与观测能力。

### 4.1 任务调度与 SLA

- DAG 编排：使用 Airflow/Temporal 管理任务依赖(如先抓列表页 -> 再抓详情页 -> 清洗 -> 入库)。
- 优先级管理：区分 VIP 用户数据与普通数据，确保核心 SLA(如数据延迟 < 5 分钟)。
- 分布式追踪：注入 trace_id，全链路追踪从 API 请求到 DB 落库的完整路径。

### 4.2 错误码规范与处理

错误码口径统一参考文档系统标准码位，并在任务层补充重试与告警策略：
- 标准码位：`docs/18-docs-rest-api.md`
- 运维告警与降级：`docs/30-deployment-ops.md`

## 5. 关联文档

- `docs/05-data-pipeline-and-quality.md`：采集与质量治理
- `docs/25-ingestion-architecture.md`：数据入口分层设计
- `docs/12-security-compliance.md`：合规与权限要求