实时数据管理实战派！DataPipeline 亮相 “FCS 2021 中国证券、基金和资管 CIO 峰会”

9月26-27日,FCS 2021第三届中国证券、基金和资管CIO峰会在上海隆重召开。本次大会围绕"数字重构价值·变革驱动增长"主题展开,邀请到金融、政府、IT等多领域的千余名行业学者、领域专家,深入探讨全球环境下金融机构数字化、风险控制等能力对企业的深刻影响,共话数字化金融新未来。

DataPipeline产品负责人徐志超

在题为"聚焦数字化财富管理·科技重塑行业价值"的主论坛中,DataPipeline产品负责人徐志超受邀作《企业实时数据管理问题与实践》的主旨发言。他针对企业实时数据管理应用中面对的主要问题、DataPipeline企业级实时数据融合平台解决方案及DataPipeline的行业实践与优势几项议题与现场嘉宾进行了探讨。

徐志超谈道:

"在新的发展阶段,技术引擎异构趋势明显,数据的融合创新正在成为新常态。数据融合是企业数字化转型的源头,是数据实时、完整、稳定、一致的根本支撑。只有拥有了高质量的原始数据,企业才能真正走出扎实地数字化转型之路。

随着人民银行《金融科技(FinTech)发展规划(2019-2021年)》等一系列顶层规划落地实施,中国金融科技政策环境和监管规则体系不断优化。越来越多的金融机构注重创新技术应用并且积极寻求与社会企业合作探索金融科技新场景。在业务场景中发展全新的生态体系成为了传统金融机构弯道超车、形成竞争壁垒的主要选择之一。

我们能够获得包括民生银行、中国人寿(海外)、山东城商行联盟、财通证券、山西证券、恒泰证券、国盛证券、财通资管、中国石油、吉利集团、星巴克、顺丰在内的百余家重量级企业客户的青睐,得力于DataPipeline企业级实时数据融合平台从理念到架构、从功能到性能、从方案到技术,全面围绕并顺应当前的用户需求及产业发展态势。产品打出'基于日志的实时增量数据获取技术'、'支持主流关系型数据、大数据平台及国产数据库'、'分层管理按需服务'、'高容错分布式架构'等一整套的优势组合拳。"

业务需求升级呼唤实时数据管理创新

目前,企业面临市场竞争和用户行为的巨大变化,必须不断加快自身进化速度。同时,业务需求升级往往要求运营模式的转变,以多速IT应对实际场景需求、快速响应实时数据的要求。但在企业该转型创新过程中,面临着多重问题:

▪各类数据管理技术差异越来越大,全面、准确的实时数据获取困难,企业内适用不同场景的数据管理技术不尽相同,技术壁垒阻碍数据价值释放。

▪常规端到端实时数据链路以月为单位的构建效率已无法适应外部环境的变化,业务需要更高的敏捷性来应对,这需要整个数字化组织可以体系化且可预见性地进行多速、敏捷的业务场景支撑。过多的技术储备要求与研发成本也成为阻碍快速建立竞争优势的重要因素。

▪从客户行为分析到非交易类的触客业务到事件营销再到风控评分,实时数据链路逐渐成为业务运营的重要支撑。作为打通各业务系统数据通道的中间层,实时数据链路的稳定性与容错性也成为重点与难点。

实力过硬做金融数字化创新基础设施

针对企业面临的问题,DataPipeline提供企业级实时数据融合平台解决方案,通过基于日志的增量数据获取等多种实时数据技术,协助客户构建以业务目标为导向的数据链路,按需快速定制、部署、执行数据任务,支持从传统数据处理到实时数据应用的各类场景,完全满足金融行业高性能、高可用、高稳定、高可控等的能力诉求。产品具备"全、敏、稳"等几大特性:

DataPipeline企业级实时数据融合平台整体架构

▪DataPipeline企业级实时数据融合平台目前支持Oracle、IBM DB2、MySQL、Microsoft SQL Server及PostgreSQL等数据库的实时增量数据捕获,对大数据平台、国产数据库、云原生数据库、API及对象存储也提供广泛的支持,并在不断扩展。

▪产品抽象为"数据节点、数据链路、融合任务及系统资源"四个基本逻辑,只需通过二至三项简单配置就可以定义出可以执行的融合任务,同时对各个环节进行分层管理,在有效满足系统运维管理需求的前提下,提升实时数据获取与管理在各个环节的配合效率。

▪融合引擎采用分布式架构,容器化部署,可以保证系统业务连续性要求。在分布式集群的基础上,平台采用系统资源组的形式隔离不同任务的运行环境,保障重要任务的稳定有序运行。

广泛验证实时数据管理实战派

在银行领域,DataPipeline协助构建的民生银行实时数据同步管道平台通过近百个实时数据任务将客户行为等实时数据进行标准化补全并分发到消费计算方,用于各类实时数据加工场景。该体系融合了IBM DB2、MySQL、Kafka、Redis、GaussDB、SequoiaDB、HDFS在内的多种数据基础组件,实现对主要交易系统每日产生的数亿条数据的整合。DataPipeline助力山东省城商行联盟构建的企业级数据库准实时数据采集系统可实现IBM DB2,Oracle,MySQL等多种核心数据库的实时数据采集功能,在金融级的稳定高容错能力方面受到客户高度认可。

在保险领域,某世界五百强金融企业打通用户行为数据、承保/退保/理赔/销售等业务数据及计算分析结果数据,高效支持营销、风控、运营等业务部门取数及用数需求,IT系统融合Oracle、Microsoft SQL Server、MySQL、TiDB在内的近十种数据库管理技术,实现从核心业务系统到客户端的多个系统产生的数十亿条数据的整合。

在证券领域,DataPipeline联合财通证券建设的数据采集同步集群实现了公司含核心系统在内50+业务系统的数据交换,被客户赞为"符合金融行业数据流转稳定要求、操作简单、运维压力低、自定义能力强且对业务系统与业务人员非常友好的系统"。

在消费金融领域,DataPipeline携手某头部汽车金融企业构建的实时数据平台接入MES、ERP、CRM、零售、批售、征信、反欺等系统,适配Oracle、Microsoft SQL Server、MySQL、PostgreSQL、TiDB、Hive、Kafka、HBase等数十种数据库近实时的数据采集功能,大幅提升了企业风控、营销等的能力。

一笔消费、一度电、日新月异的金融业发展、忙碌不息的产线……更多企业正因实时数据管理的加持悄然改变。这背后的技术都来源于DataPipeline企实时数据融合产品。

面对不同的实时数据应用需求,DataPipeline企业级实时数据融合平台都能以专业化产品与解决方案的方式降低了企业搭建基础平台的研发成本与运维成本,提升数据应用的效能,满足客户的业务需求,高效解决企业数据管理中"最初一公里"的问题。

目前,DataPipeline已覆盖金融、零售、能源、制造、地产等重点领域,产品被应用在客户服务、生产调度、运营管理、业务分析等重要场景中。DataPipeline企业级数据融合平台在系统稳定性、可管理性、扩展性、灵活性方面经过了反复验证。同时,为了给以金融为代表的国民支柱型行业提供安全可信的数据管理支撑,DataPipeline正在积极拥抱国产化布局,展开兼容适配助力完善信创产业链生态。截止目前,DataPipeline已成为中国电子工业标准化技术协会信息技术应用创新工作委员会会员单位,产品已与华为鲲鹏云、华为GaussDB、SequoiaDB巨杉数据库、星环大数据平台Transwarp Data Hub、银河麒麟高级服务器操作系统(鲲鹏版)V10、TiDB、HashData、东方金信海盒数据库管理系统等多个软硬件产品完成全面兼容认证且性能优异,能够有力服务各领域信息化水平领先的用户。

"融合"的表象是数据流转,根本是价值在企业内部传导的过程,助力数据融合与共享的"链路构建"是企业数字化转型的必经之路。未来,DataPipeline将继续坚持技术驱动、深耕企业服务,以全面的实时数据管理方案助力企业在新的竞争中获得先机,实现合作共赢。