大数据治理入门系列:数据质量

无论您是数据领域的专业人员,还是其他领域的非专业人士,也许都曾遇到过数据不完整、数据过时、数据不一致、数据不准确等问题。这些低质量的数据不仅没能解决最初的疑问,甚至还可能衍生出了其他问题。质量低劣的数据会影响数据分析结果,误导业务决策,造成经济或其他方面的损失,损害使用者的信心。因此,为了避免这类问题,组织机构有必要把控数据质量。数据质量也是数据治理的重要一环。

数据清洗的目的

数据清洗是指对数据进行预处理,去除数据中的错误、不完整、不准确、重复、冗余等问题,以提高数据质量和准确性。

数据治理之数据标准管理

根据全国信息技术标准化技术委员会大数据标准工作组制定的大数据标准体系,大数据的标准体系框架共由七个类别的标准组成,分别为:基础标准、数据标准、技术标准、平台和工具标准、管理标准、安全和隐私标准、行业应用标准。

数据主要有哪三大来源?

1、数据主要有哪三大来源(1)大量人群产生的海量数据(2)企业应用产生的数据(3)巨量机器产生的数据。

数据治理的前世今生

在大数据领域,数据治理可以说是高频次的出现,那么为什么需要数据治理?应该怎么来实施数据治理。

浅议大数据时代的隐私安全

云计算、云存储中心化的数据集中带来的问题是显而易见的。比如美国两个亿的个人隐私的泄密问题,BAT争相搜罗个人和机构的隐私数据据为己有,并回过头来裹挟社会个人。

数据安全与隐私保护

数据安全自古有之,并不是一个全新的概念。冷兵器时代的战争就非常关注情报,通过情报可以了解竞争对手的强项和弱项,从而制定制敌的方法和手段。而数据保护就是针对这个情报采取的保护措施,确保自身的情报不被泄漏。但随着数据技术的发展,保密工作越来越难,数据安全包括个人隐私问题也是一个非常具有争议的话题。

数据治理:将数据从源头进行清洗

数据一切都与技术的集中化有关。数据安全地存储在企业大型机上,只有具备导航预处理数据库技能的程序员才能访问它。差不多四十年后,所有这些都与数据民主化和强大的数据治理战略的需求有关。