随着数据价值由数据统一化逐渐到数据生态化演进,企业对数据平台的需求越来越高,许多企业面临内部数据孤岛等现状,需要全集团统一的、可共享的数据平台,来推进建设统一的数据平台,构建数据驱动业务的数字化转型战略,为企业管理和决策提供数据基础与分析能力保障,助力企业发展。
数据湖作为支撑企业数字化转型的数据底座,能够为企业提供数据驱动、精准决策等全方位技术支撑,因此企业级数据湖的建设,是数据价值逐渐释放的基础,是企业数字化战略转型的关键。
企业建设数据湖一个重要的目标是,面向企业各个事业部、子公司,建设统一数据湖,用来统一整合企业内、外部各类业务系统数据,保障企业数据全面性和唯一性,以及统一管理内外部数据资产,形成企业统一数据治理标准及规范,加强数据安全管控及数据安全。
基于TDC的数据湖整体方案
一个完整的数据湖解决方案需要建立在数据接入、数据存储、数据计算、数据应用、数据治理、元数据、数据质量、数据资源目录、数据安全及数据审计等一些列技术之上。市场上的数据湖解决方案多数只具备部分能力,给企业建设数据湖带来障碍。
基于星环科技数据云平台 Transwarp Data Cloud(TDC)、星环大数据开发工具 Transwarp Data Studio (TDS)等产品的星环数据湖解决方案,能够一站式解决企业从建湖到管湖全部过程,为企业管理和决策提供数据基础与分析能力保障,助力企业发展。
在数据入湖阶段,星环科技大数据整合工具 Transporter 负责将分散于各个地方、各种平台上的各种格式的数据同步或集成到大数据平台上。而星环大数据基础平台 Transwarp Data Hub (TDH )内置 8 种独立的存储引擎,支持业界主流的 10 种存储模型,解决数据湖需要的结构化、非结构化、半结构化数据存储能力。在数据治理、元数据、数据质量、数据资源目录等能力上,星环科技提供了集开发与治理为一体的一站式工具平台 TDS,提供了数据开发、数据集成、数据管控、数据商城和数据服务等能力。
基于 TDC 建设数据湖的基础架构设计
TDC 数据云平台的数据湖基础架构,核心理念是以多租户的形式,承载整整个集团的数据业务。
包括集团级中心数据湖、主题库和数据集市,以及事业部、子公司等独立租户,同时可为任何组织部门按需提供数据沙箱,基于集团数据湖数据进行二次数据探索和分析。
TDC 数据湖解决方案在银行的最佳实践
以银行客户为例,某银行需要部署一个数据湖,并需要将公共的数据放在数据湖租户中,用数据湖来承载集团的全部数据,并由集团 IT 部统一管理。允许各子公司、事业部、各个部门有条件使用该数据。
同时,因为银行数据湖业务负载有潮汐差异性,为了更好的响应业务的处理要求,在业务繁忙时,希望能自动调整配置,以响应业务负载,当业务负载下降时,能及时减少资源配置,以将资源给其它租户或应用使用,这其中涉及计算单元的自动弹性伸缩。此外,该银行的数据量每天会有一定量的增加,需要定时扩容。
根据上述背景,我们可以将客户的关键需求总结为:
规划多租户,由独立的租户承建数据湖,保证数据湖的隔离性;配置数据湖的自动弹性扩展能力;数据湖计量,为了方便对每个租户进行成本管理或企业内部计算,需要对各个租户使用的资源进行计量和计费。
星环科技数据云平台 TDC支持不同的操作系统和 CPU 架构,可以采用图形化的方式部署和配置异构集群。在 TDC 之上,该银行部署数据湖,我们提供了一套图形化向导方式,一步一步帮助银行完成各项选择和配置。
针对该银行的数据湖需求,基于星环数据云平台 TDC 做了如下工作:
为该银行创建两个租户,一个为存放公共数据的数据湖租户 datalake,一个为使用数据湖数据的租户marketing;
将租户datalake设置为共享租户;
开启租户datalake的 TDFS 组件的数据共享;
在租户下 datalake下部署一个实例datalake_1,并开启组件 TDFS 的共享;
开启 datalake_1 实例的弹性伸缩功能;
在租户 marketing 下部署一个实例 marketing_1,引用租户 datalake 的 TDFS 组件;
数据湖与多个数据租户是一种协同分层解决方案。TDC 的租户是指一个包括资源、应用和数据的隔离,租户之间相互独立,完全隔离,同时能够通过安全可控和共享模块的配置,实现资源、数据、应用的跨租户共享。通过共享租户在数据湖中实现数据、平台、工具和模型的统一,通过隔离实现每个部署空间的独立性、安全性。
数据湖租户设置为共享租户,通过将数据存储TDFS组件开放并共享出来。需要共享的数据、工具、模型都放在一个租户中,设为共享租户,其他租户可以查看或使用该租户共享出来的数据。数据湖的多租户规划即为将数据湖租户设置为共享租户,其他租户建设自己的数据仓库时可查看并选择该共享组件,这样其他租户即可依赖数据湖租户共享出来的 TDFS,实现数据的共享。
基于星环科技 TDC 建设的数据湖,承载了该银行集团的全部数据,并由集团 IT 部统一管理。允许各子公司、事业部、各个部门有条件使用该数据,实现了数据的集中治理以及安全的共享交换。
目前,星环科技新一代智能数据云平台 Transwarp Data Cloud(TDC)已经在众多行业有成熟的全方位解决方案落地,满足了各种数据处理场景的需求,实现了企业数据与应用的生态化建设。未来星环将在数据云领域持续深耕,助力企业不断提升大数据能力,引领企业数字化转型升级浪潮。