企业如何构建大数据分析平台（企业大数据分析方法）

企业如何构建大数据分析平台（企业大数据分析方法）

的采集数据经由清洗组件进行预处理，为清洗组件提供一套清洗过滤器，普遍针对原始数据进行，格式转换，表达式计算，正则匹配，删除，添加等操作，将原始数据转换成符合挖掘需求的清洗数据。对于数据的存储，大数据平台普遍基于Hadoop体系的Hbase和HDFS构建的原始数据存储集群，主要保存网络、位置、设备数据、上网日志以及其他各类二进制数据。利用hdfs和hbase存储集群，完成对上网数据、位置数据和外网舆情等数据的存储功能。下面来详细介绍一下。

1数据清洗能力

数据中心为了更好的发掘数据的价值，需要将不同类型的数据进行清洗，满足各自行业内的数据表达语义和格式的标准。所以数据清洗过程中需要考虑到如下几个方面。

数据剖析

数据剖析是一组算法，用于统计分析和评估数据集内数据值的质量，探查数据元间和数据集间存在的关系。数据剖析提供了识别数据缺陷的能力。还提供了与具有能够确认数据问题存在的业务知识专家，探讨这些数据缺陷实例的手段。数据剖析能够扫描一列中的所有值，给出该列中值的频率分布情况，从而得出每一列的类型和潜在的用途。跨列分析能够反映出内含的值依赖关系，而表之间的分析能搜索出重复值集合，识别实体间外键关系。数据剖析能够帮我们发现存在于数据集中的业务规则，用于持续的监测和监督。

数据解析

数据解析要求数据值应符合预期的格式和结构，由于数据值细小的变动都会使自动化程序陷入混乱。这就需要数据处理程序能够将数据值解析成，成分分段并将其转换为标准数据格式，利用解析判断一个值是否符合可识别模式。基于模式的解析能够对有一定含义的值成分进行自动识别并随后进行标准化处理。比如：电话号码中的，地区号和分机号。

数据标准化

数据解析使用了预定义的模式，正则表达式或者由规则引擎控制的语法，连同查表一起，区分出有效的数据值和无效的数据值。模式识别后，会触发后续的规则和动作，将输入的数据转换成能够被行业标准所接受的的标准格式，或者标准化表达式，或者修正的数据值。

数据身份分辨

由于诸多业务系统已经逐渐成为企业级应用软件的套件，不同的系统中不同形式的多个数据实例指的是客观世界中的同一个实体，这个问题反映出核心的需求：要求能够采用比较两条记录的特征数据来确定这两条记录的相似度，或者区分出记录标识的实体。这些问题可以通过身份分辨来解决。

重复记录的连接，合并和整合

身份分辨为更复杂的数据质量处理提供了基础：重复记录分析和消除。

1)在同一个数据集中识别出相似记录,意味着这些记录是重复的，并且可能要被清理，消除或者两者兼有。

2)在不同的数据集中识别出相似的记录,也许表示存在跨数据集的连接，有助于合并相似记录达到数据清理的目的，同时支持主数据管理和数据的集成。

身份辨别引发了数据合并和整合的流程，从而能够建立客户的单一视图。

数据增强

数据增强是将外加的信息,附加到存的记录上。数据增强是建立在数据解析，数据标准化和数据记录链接的基础上。是添加第三方数据集信息进行数据改进的过程。例如：名称标准化，可以引入人口数据，家庭列表数据等。

数据清理

数据清理建立在解析，标准化及数据增强，数据身份分辨和记录链接的基础上。通过解析数据值并触发已知错误模式，数据清理将根据规则推断出正确的数据值，修正数据，去除多余信息，减少无意义的数据,合并重复数据。

数据检查和监测

数据检查和监测   析数据和剖析数据为基础，依据一组已定义的业务规则进行主动的数据验证。

当数据治理与预定义的数据质量期望指数不一致的时，数据检查能够通知相关业务负责人，并提供测量数据。

2数据存储能力

由于在各个业务领域内数据以前所未有的速度增长着，并且数据的结构又多样化，这就决定了数据的存储需要满足不同的数据格式要求以及业务处理要求。

结构化/半结构化数据存储技术

应用程序数据由业务系统产生，这些数据具有明显的结构化特征，存储格式依赖于具体的商业数据库软件，针对这类数据数据中心应有相应的结构化数据存储能力。通常这类数据在数据中心中使用关系型数据库集群来存储。

中琛魔方大数据（）表示数据中心应该根据实际业务数据的结构，调整对应的存储方式，这样才能够存储多样化的数据，为数据价值发现提供强有力的保障。