目录
一、数据中台的起源二、数据中台的定义与作用三、数据中台、数据仓库和数据平台区别四、数据中台的分层五、金融机构为什么要建立数据中台?六、智慧金融的新基础设施-数据中台七、金融机构如何建立数据中台?八、金融机构数据中台的整体架构图九、总结数据中台的起源数据中台的定义和作用数据中台、数据仓库和数据平台的区别数据中台的分层金融机构为什么要建立数据中台?智慧金融的新基础设施-数据中台金融机构如何建立数据中台?金融机构数据中台的整体架构图总结一、数据中台的起源
数据中台的概念最早是阿里巴巴提出的,是为了应对像双十一这样的业务高峰、应对大规模数据的线性可扩展问题、应对复杂业务系统的解耦问题,而在技术、组织、架构等方面采取的一些变革,其本质上还是一个平台。阿里
称之为“共享服务平台(SPAS)”。,阿里巴巴启动中台战略,目标是构建符合互联网大数据时代的,具有创新性、灵活性的“大中台,小前台”的机制。,数据中台受到业界广泛关注。
二、数据中台的定义与作用
所谓的数据中台,即实现数据的分层与水平解耦,沉淀公共的数据能力。通俗讲,数据中台就是提取各个业务的数据,统一标准和口径,通过数据计算和加工为用户提供数据服务。
三、数据中台、数据仓库和数据平台区别
四、数据中台的分层
数据模型:本层可再分为3层:基础模型、融合模型和挖掘模型。基础模型作用:主要实现数据的标准化;融合模型一般是维度建模,主要实现跨越数据的整合;挖掘模型偏应用。
数据服务:将数据模型按照应用要求做服务封装,构成数据服务,它和业务中台的服务概念完全相同,只是数据封装比功能封装更难。
数据开发:数据开发是数据中台的最后一层,主要是为了满足前端的个性化要求。按照开发难度可将数据开发层再分为3个层次,排序由简到难:提供标签库(DMP)→提供数据开发平台→提供应用环境和组件。
具体讲解可参考原文:数据中台到底是什么?
五、金融机构为什么要建立数据中台?
当下,金融行业面临转型升级,我们已经步入了智能化的金融科技3.0时代。智能化时代以客户中心为基础,以人工智能、大数据、云计算、区块链等技术驱动,并深度融合金融,从而提供更为普惠的金融服务。
恒生电子认为,数据中台是智慧金融的新基础设施,其核心定位是通过数据资产化、数据标准化、数据服务化、数据智能化,让数据产生价值。建设数据中台,不仅有助于支持前端业务的快速迭代、跨系统的相互协作,还有利于数据分析应用能力的专业化。
六、智慧金融的新基础设施-数据中台
金融机构的数据分为两处,一处是数据仓库,来源于业务系统的数据中心;第二处是资讯数据中心,数据主要来源于外部。实际场景中,两大中心的数据会通过机构、人、产品,紧紧联系在一起。在两大中心(数仓和资讯中心)
之间,有个关联,关联中有两个重要的工具-用户画像和企业画像。
构建用户画像的主流方法有4种:1、基于数据统计;2、基于规则定义;3、基于聚类;4、基于主题模型。“标签体系”方法是构建用户画像的核心方法论。
如何构建企业画像:资讯中心中存在重要数据是描述投资标的企业的,如果该部分数据可以将企业描述清楚,会对金融机构下游的核心业务起到很好的支撑。构建企业画像的过程中会用到很多AI技术。
企业画像中,为形成一个相对完备的企业画像,需要关联不同类的数据,比如:工商数据、公司数据、产业链数据和金融机构研发人员调研、分析到的信息等。那么,具体进行关联时会涉及知识图谱、图数据库等。关联之后就可以查到围绕这家公司有哪些信息,有没有违约,类似企业的“情报系统”。注意,企业画像不是静态的,它是一个动态的、持续发展的过程。特别是金融领域的很多数据,都是随着时间变化的。
七、金融机构如何建立数据中台?
从数据的角度看,大致分为三个步骤:
①数据资产化【聚合协同】
理清金融机构自身的数据资产。金融机构的数据资产主要两部分,一是机构内部数据,这部分数据容易梳理;另一部分是由不同业务部门引进的外部数据。这部分数据较难梳理,原因:存于不同业务部门、来源复杂,且数据量较大。
②数据标准化【一致稳定】
梳理好机构内的数据资产后,那么如何使用这些数据资产呢?首先,需要对数据的标准、口径等进行统一。金融机构常见制定数据标准的方法:资产地图和资产目录。制定数据标准是数据治理过程中极为重要的一环,尤其是在金融机构。原因:金融机构对于数据口径统一等负有相关法律责任。金融机构需要向两方报送、披露数据。一是监管机构,二是公众。制定数据标准过程类似于制定API规范,要求:稳定、符合最小化原则等。
③数据服务化【专业高效】
金融机构完成数据资产梳理、口径、标准制定后,就可以向相关部门提供数据服务啦。传统的数据服务方式,比如数据仓库,当下游公司或部门提出取数需求时,数仓这边会告诉他们所需的表结构,让他们自己直接连上来取数。但是这样存在严重问题:数据中心的表暴露给了多少对象?有多少下游应用与你相关?中间过程难以控制。解决方式:中间增加数据服务层,以API、微服务的形式提供服务,从而实现对使用对象、频率的控制。中间也会用到一些工具,比如舆情检测、知识图谱等。
舆情监测
定义:互联网舆情监控系统依托搜索引擎技术和文本挖掘技术,通过网页内容的自动采集处理、敏感词过滤、智能聚类分类、主题检测、专题聚焦、统计分析,实现各单位对自己相关网络舆情监督管理的需要,最终形成舆情简报、舆情专报、分析报告、移动快报,为决策层全面掌握舆情动态,做出正确舆论引导,提供分析依据。-百度百科
很多公司都在建设舆情监控系统。获取大量的舆情信息后,可使用NLP/智能文本处理技术处理。
知识图谱,实际它的技术底层有2种,一个是图数据库,即图的存储;另一个是图的分析。数据分析最重要的是关联。要把数据关联起来才能做更多的分析。图数据库擅长。
针对实际情况,一般金融机构都已经建好自己的数仓,但是大量非结构化的数据进来,数据量的增多,金融机构需要建立起新的基础设施,对原来的技术平台也需要做相应升级。数据中台会应用更多的数据挖掘、数据分析和AI等技术。
八、金融机构数据中台的整体架构图
金融机构搭建好自己的数据平台后,还会经历一下几个步骤:
数据采集–数据治理–分析、计算–价值挖掘–面向服务数据
其中,对于数据采集/收集,金融机构的核心系统很多,关键系统就有三四十套,有时候还包括同一类业务系统交给两家厂商去建设,或者同一类业务根据客户属性不同建设不同的系统。为完成数据收集,就需要将核心业务系统对接的能力。其实该过程会耗费大量人力。
九、总结
在做金融行业数据中台时,内部分两层:偏技术和偏业务。偏技术人员做数据的基本处理,比如打个标签、关到图数据库里取,这对业务的要求貌似不高,对技术基础的要求会高一点。数据结构化后,业务人员接着处理。比如,有些财务分析的模型。总之,金融工程人员做上层的模型,支撑下游场景。
总结而言,底层是数据中台的技术平台,要管理数据,做相应的数据开发,对外提供服务,构建相应的AI能力,搭建AI工具平台。有了这个工具平台之后,帮助金融机构构建各种各样的数据中心,包括业务数据中心和资讯数据中心,也会根据上游的场景分阶段建立,原来的应用可以逐步迁移到新的数据中台的架构上来。在没有数据中台之前,整个金融行业大家对数据也是非常重视的,有大量的应用在用。建数据中台之后,不能简单地把老的应用铲掉,全部重新来过,所以需要有一个把大量的下游应用进行平滑迁移的升级方案。
转载来源:
https://mp./s/g22ueinMvwDvu5hpt03wJQ数据中台到底是什么?- /p/f8a7c33709b3关于数据中台、数据平台、数据仓库、数据湖等数据概念的对比解析-/u012548562/article/details/103910938智慧金融新基础设施:数据中台的金融应用与实践 | 雷锋网公开课 -
/x/page/y0944c0flp1.html