先前在《爬虫系列之数据质量监控（二）：监控系统设计 》一文中，对采集中数据解析部分可能出现的各种异常，进行了大概的总结。比如：标题或内容中包含乱码、css样式、JavaScript代码等。 由于出现的异常可能千奇百怪，我们不可能提前想到所有现象。...

（二）KAFKA统一数据推送接口 1)非空校验 处理逻辑：除标题为空数据直接存入异常MySQL库中外，其他类型的数据直接流到数据质量校验步骤进行分析； 2)数据质量校验 主要是根据每个字段设置的校验规则，对其进行相应的校验处理。 3)二次排重处理...

如需完整Word文档，请关注“十点数据”公众号获取。 一、概述 1.现状 最近SaaS平台、APP等产品，总是采集的数据中存在各种各样的问题，如标题解析成JavaScript代码，或者包含一段无用的字符、或者出现一个乱码字符串等等。 先前的那套监...

如需完整Word文档，请关注“十点数据”公众号获取。 二、数据监控流程图 三、流程详解 （一）信源系统 信源系统主要是用来管理各种规则，同时接收异常信息、并分析异常情况。 根据分析结果，把相应的信息推送给信源管理、采集人员等相关人员，以便优化采...