随着大数据时代的到来,越来越多企业认识到数据治理的价值。数据治理涉及到企业内各种数据的收集、存储、处理和分析,包含数据集成、数据质量、数据资产、数据安全、数据标准等各个环节。越来越多企业通过实施有效的数据治理策略,确保自身在激烈的市场竞争中取得优势。



本质上来讲数据治理的对象是企业重要的数据资源,是关乎企业重大商业利益的数据资源,这样的数据资源可以称其为“数据资产”。对于数据资源的有效治理能够帮助企业获得以下方面的价值:

降低运营成本

通过数据治理可以减少数据的冗余存储,减少存储的成本。通过提高数据质量减少出错的概率,从而降低企业各部门、各口径的数据统计成本和数据差错修正的成本。

提高工作效率

从查询效率、查询时间、时间成本等角度都可以作为治理收益。比如月度、季度合同及收款报表统计之前要用一个小时,现在用十五分钟。比如召开季度生产经营例会,之前需要各部门准备会议资料至少2天,现在半天足矣。

赋能企业决策

能够深入业务、串联多部门,构建多种数据分析模型、画像、标签等方式直接带来收益,直观的监测企业运营情况,并可以对异常关键指标预警、挖掘分析。

提升数据质量

通过数据故障率、数据及时率、数据完整率等指标进行监控,把控数据质量,出现问题及时修正。

提高数据安全性

通过数据治理过程,明确核心数据的管理责任主体、数据使用主体、数据管理标准和制度等内容,确保企业数据资产的安全。


数据治理的主要方式


结合行业、企业特性及现状来看,目前企业面对的数据主要来自于已有的软件系统,例如OA、HR、经营、工程管理、财务管理、CADCAEBIM及各类专业软件,主要都是企业内部日常产生的数据,并且多以结构化数据为主,这部分数据可以称之为:企业内部数据。


而在大数据时代,得益于大数据技术的突破,大量的结构化、非结构化、异构化的数据能够得到储存、处理、计算和分析,提升了我们从海量数据中获取知识和洞见的能力,例如外部招采信息、设备材料最新报价、市场动态和热点等。这部分数据来自企业外部,并且数据量会很大,因此称之为:企业外部大数据。

企业内部数据治理的方式

企业内部数据治理的核心是“唯一数据源、统一数据标准”,而要达到这一目标需要从数据的源头抓起,并且需要大量的人为干预 + 一定程度的自动化处理,比如:数据标准的制定和落实、源头业务系统录入的规范化处理、已有数据质量的清洗、数据使用的申请审批、数据的分发和共享等。企业内部数据治理追求的是:标准化、精确化、高效化。

企业外部大数据治理的方式

对于大数据,传统的一味追求精确的思维受到了挑战。而对于大数据的治理,允许一定程度上的容错,反而可以在宏观层面拥有更好的知识和洞察力。对于大数据的治理更多的是采用AI技术,例如:知识图谱、语音识别等,对大数据的采集、处理、使用过程加以控制,使其能够合规使用。


数据治理的主要过程

详细需求及现状调研,摸清数据家底

与其他软件项目一样,详细需求调研是开展数据治理工作第一阶段的重要工作。本阶段主要是理解企业的战略,并按照从上而下的策略进行开展企业数据管理的现状调研,摸清楚企业数据资产的分布、数据的质量、数据的管理现状、数据应用需求等情况。该阶段的工作目标是确定数据治理项目的目标和范围,评估数据治理成熟度,确定改进内容和方向并与客户达成共识。

梳理数据资产,建立数据资产标准

按照业务主题进行数据资产的梳理,并制定数据资产的标准。首先,定义数据资产的数据含义、业务规则、质量规则、数据来源、存储路径、管理部门、管理人等,即数据资产的元数据模型,定义好数据模型是数据治理成功落地的重要前提。


其次,重点对企业的核心数据资产——主数据进行标准化,包括:主数据标准化定义、参照字典的标准化、数据清洗、数据服务共享等。

优化数据管理和使用流程,形成制度

对于企业而言,数据来源于很多方面,内部数据如财务、人力、OA、项目、市场等;外部数据如政治、经济、社会、科技、行业、市场、竞争对手等。虽然数据来源广、数据量大是优点,但如果不加以整理和关联,杂乱无章的数据不仅不利于分析应用,还将带来不必要的人财物的消耗。

所以,非常有必要对数据产生、采集、处理、加工、使用等过程进行规范。通过统一数据标准,制定合理的数据管理流程和制度,规范数据生产和使用的过程。

搭建数据管理平台,接入数据

数据管理平台的搭建要根据不同的客户需求搭建不同模块,数据管理平台主要涵盖功能模块有:数据源管理、元数据管理、主数据管理、数据质量管理、ETL工具等。


数据接入是将各种来源、各种类型的数据,通过数据集成工具将这些零散的数据整合在一起,纳入统一的大数据平平台或数据仓库中,这一过程需要符合数据管理平台定义各种数据标准、质量规则、安全指标。


所以,我们说数据治理不是为了治理数据而建设的,而是配合数据管理平台、数据仓库、数据分析等项目,通过提升数据质量、控制数据安全,让数据发挥出最大的效益。

建立数据质量评估指标,提升数据质量

提升数据质量是企业数据治理的重要目标,也是企业进行数据分析挖掘、业务管理和决策的重要基础,只有建立完整的数据质量体系,才能有效提升企业数据整体质量,从而更好的为业务服务。从技术层面讲,定义完整全面的数据质量的评估维度,包括完整性、时效性等,并按照已定义的维度,在系统建设的各个阶段都应该根据标准进行数据质量检测和规范,及时进行治理,避免事后的清洗工作。

“一把手”推动,提供组织及人员保障

数据治理涉及范围广,参与人员多,需要一定的组织和制度的保障才可能获得成功。首先,依据行业经验来看,“一把手”工程是数据治理组织建设的最佳实践。其次,数据治理组织的建立并不是组建一个非临时团队,而是要能够支撑企业数据化业务的一个完整体系,包括:组织体系、管理体系、执行体系、技术体系等。再次,数据治理组织的人员选拔和人才培养,建立数据治理组织从企业内部进行选拔相应的技术专家、业务专家更为合适,或者从外部寻找具有同行业实施经验比较丰富的外部供应商协同进行。