一、大数据治理与业务创新的关系
数字化时代,我们的数据来源比以前更广了。第一,之前传统企业政府的IT系统主要是面向内部使用,产生了一些信息,现在已经面向外部使用了;第二,更多行为信息、社交信息都会变成企业的数据;第三,我们有很多非结构化的数据,比如媒体、视频数据等;第四,还有物联网传感器方面的数据等。
这些数据大部分是非结构化的,如媒体数据、视频数据,包括物联网传感器等信息,这些信息远比以前更加难以管理,怎么样把这些信息管理好,充分发挥这些信息中的价值,就是企业所需要面对的问题。
现在不少企业为了更加明确数据部门的目标,已经把数据管理部的名字改为数据服务部了,由数据管理转变为数据服务,以前是数据部门是自己准备数据给自己用,自己做一些分析报表等,现在更多是要把这些提供给别人用,为业务创新服务。
目前很多企业也意识到了数据管理的重要性,CDO也逐渐成为数字化企业的标准岗位,成为企业组织结构中的一部分,CDO已经不仅仅是一个职位了,而代表着数据部门职能的改变。企业如何把数据管理好,用服务的方式提供出来,成为了大数据治理的核心。
我们认为,大数据治理应该是自动化、自助化、智能化的,把大数据治理当做一系列服务给别人提供出来,可以让大家更好地开展大数据治理。
二、大数据治理的关键步骤
我们今天要讲的是,要想做好好大数据治理服务化,首先我们要实现两个目标,模清现状,理顺数据。
我们分为四步走:
第一、数据资产地图,实现数据与业务的统一
第二、数据资源目录,让业务找见数据
第三、建立统一数据标准
第四、未来可以实现数据的自助化服务
建立数据资产地图,实现数据与业务的统一
某航空公司的系统建设方式是采用传统系统建设方案,由业务驱动系统的建设,没有更多的考虑系统融合的场景,但随着发展的变化,业务的协同性,变得更加重要。例如飞机如果发生了故障,需要一系列的业务协同,而原有系统彼此都管理着交叉的部份。
在业界,达美行空采用的是SOA的系统架构,即16个业务系统,对应有16个核心数据主题,在核心业务数据上做到了统一,业务流程通过调用多个服务访问数据。而我们的数据则是散落在各个系统内,例如旅客信息是在多个系统中都有管理,为业务的协同带来了很多复杂性。
在该航空公司已经建设了数据仓库系统,我们希望通过梳理发现主题与来源业务系统的对应关系,发现交叉数据流向关系,理顺系统架构。从规划的角度逐步完善和调整业务系统职能。实现航空公司顶层数据模型设计,建立数据资产目录树,从顶层数据模型到底层数据实体,完成分类、分级的数据目录结构设计,并完成数据模型设计方法论。
实现数据架构与应用系统对应关系,从顶层数据模型,逐层找到数据实体,再到数据库表,最终到应用系统,实现数据架构与应用系统的对应关系。找到数据模型设计的不合理,在数据血缘分析过程中,提供数据关联关系分析报告,识别出不合理的数据模型。(比如,用户数据在多个应用多张表中独立存储,视为不合理,需改进)。从而最终实现核心业务数据上做到统一。