8  数据源、采集与变化捕获

本章产出: 企业数据源分类和采集策略矩阵。

需要覆盖结构化数据、文档与多媒体、事件流、SaaS API、日志以及人工知识。针对每类数据,比较批量同步、CDC、流式采集、API 拉取和文件交换的适用条件。

关键设计项包括数据所有权、源端影响、模式变化、重复与乱序、敏感数据识别、失败恢复和采集成本。