AI Agent 数据采集：数据源、清洗、报告与异常处理
从多个平台采集数据时，最耗时的往往不是下载文件，而是对齐字段、确认时间范围、处理缺失值以及解释异常。AI Agent 可以处理重复性步骤，但前提是必须先明确数据源、字段定义和失败规则。
首先建立数据源注册表
| 字段 | 需明确的细节 |
|---|---|
| 数据源 | API、CSV、JSON、公开网页或内部系统 |
| 权限 | 只读凭证、访问范围及有效期 |
| 时间定义 | 时区、报表周期及更新时间 |
| 主键 | 用于去重和增量更新的唯一字段 |
| 输出字段 | 名称、类型、单位及空值规则 |
| 失败策略 | 重试、跳过、告警或停止 |
数据格式在 Google Analytics、社交媒体看板、CRM 系统和公开网站之间各不相同。不要直接让 Agent “汇总所有数据”，应先为每个数据源定义字段映射关系。
分四步构建采集与报告工作流
1. 读取授权数据源
优先使用稳定的 API 或导出的文件。当从公开网页采集数据时，应限定固定的页面范围，若结构发生变化则停止采集，而不是盲目猜测字段。技能（Skills）可封装搜索、文件读取或代码处理等步骤。
2. 清洗与标准化
- 按主键去重，同时保留数据来源和采集时间
- 统一日期、时区、货币和百分比等格式
- 缺失值保持为空并记录原因，而非依赖模型推断填充
- 建立原始字段与标准化字段之间的可追溯映射
3. 验证数据质量
至少需检查记录数、字段类型、时间范围、重复率和缺失值。若当前数据量与历史水平差异显著，应标记待核实，而非立即生成确定的归因结论。
4. 生成结构化报告
报告可输出为 JSON、CSV 或 Markdown 格式。正文内容需严格区分事实、计算结果与解读：事实来源于数据源，计算结果基于明确公式，解读部分应标注为分析判断。
如何提升定时任务的可靠性
- 在数据源完成更新后再安排采集任务
- 使用增量游标或日期范围，避免每次全量重复采集
- 设置超时时间与重试上限，连续失败后发送告警
- 记录每次运行的批次号、时间及数据源版本
- 写入时使用幂等键，防止重复运行产生重复记录
异常不等于原因
Agent 可以发现指标的变化，但不能仅凭相关性就断定因果关系。例如，流量下降与关键词变化同时发生时，只能说明需要进一步核实。报告可以列出异常数值、潜在相关因素及待核查项，但绝不能将推测当作既定结论。
多 Agent 协作的适用场景
当多个数据源相互独立时，采集任务可并行运行。字段标准化与统一报告应在所有数据源返回数据后进行。各分支应采用一致的输出 Schema，由单一聚合器统一处理缺失值、重复项及冲突定义。
上线前验收检查清单
- 每项指标均可追溯至具体数据源与采集时间
- 日期、单位与报表范围保持一致
- 缺失值未被虚构数据填充
- 重复运行不会新增重复记录
- 数据源故障会体现在报告中，而非被静默跳过
- 异常分析清晰区分事实与推测
- 最终写入范围遵循最小权限原则
SmaugBrain 可将数据处理技能与定时任务结合，统筹从采集到报告的全流程。建议先从少量数据源建立可靠的定义，再逐步扩展并发能力与通知渠道。自动化的目的并非掩盖数据问题，而是更早地暴露它们。