海通证券数据中台统一数据服务

　　伴随金融科技的快速发展，证券行业进入了“数智化”发展的快车道。作为行业金融科技先行者和探索者，海通证券践行“数字海通2.0”战略，自建了企业级数据中台“e海智数”，并以此为基础开展统一数据服务云DaaS建设及相关数据治理工作，逐步建成了开放式数据生态，赋能公司数字化转型。本文结合海通证券数据中台统一数据服务研究与实践，总结了相应成果和实践经验。

　　当前，以ABCD（人工智能、区块链、云计算、大数据）为代表的信息技术快速发展，极大地改变了经济运行模式和社会生活方式，同时也推动各行各业的数字化转型进程不断加速。对此，为引入新的差异化价值来改变证券业传统的运营服务方式，海通证券股份有限公司（以下简称“海通证券”）积极践行“数字海通2.0”战略，通过自建企业级数据中台“e海智数”，以及打造开放式数据生态体系，全面赋能公司的数字化转型发展。在此过程中，数据中台集“服务、数据、技术、人员、治理”为一体，实现了数据标准、数据实体与数据服务的有机统一，大幅提升了企业的数据应用水平和数据服务能力。

　　一、数据中台统一数据服务总体目标

　　1.统一数据服务建设目标一般而言，数据应用会贯穿信息系统的前、中、后台，后台服务大多以大数据平台、数据仓库建设为主服务于业务前台的各个应用系统和场景。以海通证券为例，在数据中台建成之前，业务前台与数据后台的数据交互通常是基于两种方式：一是数据推送方式，即数据在后台完成采集、存储、计算、加工等过程，之后再批量推送至业务前台系统的数据库，但该方式易在传输过程中造成数据重复或不一致的情况发生。二是数据直连方式，即业务前台系统直接访问数据后台数据库执行读取操作，但弊端是后台数据库将无法有效支持并发联机事务。针对上述问题，海通证券提出了建设数据中台统一数据服务的总体目标：一是建立超链接，即通过为前台提供标准、规范、统一的数据服务，使前台开发可更专注于具体业务功能的数据应用。二是实现松耦合，即通过简化前台系统架构，基于统一的标准数据服务接口来访问后台所有数据，实现后台技术差异对前台透明。三是实现枢纽化，即通过统一数据服务生成标准规范的数据格式对外提供，打通大数据平台、数据仓库、图数据库、关系型数据库中分散存储的各类异构数据。四是实现服务化，即通过为前台业务系统提供实时的数据服务，做到数据随用随查，减少数据复制和搬运。2.统一数据服务功能针对上述目标，海通证券为数据中台统一数据服务设计了如下功能：一是打造标准规范的数据服务API接口，支持单数值、多数值、单记录、多记录、分页请求等常见数据调用。二是支持高并发、毫秒级的联机数据查询服务，使大批量、复杂逻辑的数据查询响应时间提升至秒级。三是支持复杂业务的逻辑处理，即能够在内存中根据业务逻辑执行统计分析与计算加工，并返回“精数据”。四是实现对数据服务功能的可视化管理，以及对服务状态、流量、使用情况等进行实时监控及异常处理。五是采用低码数据服务接口开发模式，范围涵盖数据服务的开发、登记、编号、发布、维护、更新等。六是培育服务度量和运营的能力，即通过多维度综合度量每一个数据服务的业务价值，形成企业数据价值全景视图。

　　二、数据中台统一数据服务技术实现

　　1.统一数据服务总体架构在整体架构中，统一数据服务作为数据中台“e海智数”的重要组成部分，又可细分为数据服务和系统服务。其中，数据服务主要包括服务开发、服务全生命周期管理、服务全景价值分析和服务安全管理等四个方面，其通过承接数据层提供的源数据，可将大数据平台、数据仓库、资讯中心、行情中心的数据服务能力封装形成基础数据API，再发布到企业服务总线ESB供各应用系统消费。截至目前，数据API已在报表分析平台、对账业务、账户中心、产品中心、e海通行等核心系统中得到广泛应用，通过赋能数据应用的复杂交互场景，有效发挥了数据价值。系统服务是指基于云原生技术中的微服务架构，统一对线上服务执行发现、限流、熔断、降级等操作，同时在安全领域搭建完善的用户权限认证和鉴权体系。在技术方面，系统服务重点满足了金融场景对实时性、高并发、稳定性的特殊要求，海通证券通过采用SpringCloud微服务架构，结合配置中心Config、注册中心Eureka、消息中间件、服务网关Zuul等功能组件，以及自主研发的服务注册、服务发现、服务熔断、服务限流等一系列核心功能，实现了基于统一网关路由和负载均衡的系统级高可用，进而稳定可靠地对外输出数据服务能力。2.统一数据服务开发平台统一数据服务开发平台通过采用可视化的低码方式，提供了快捷的数据服务接口开发功能，并基于灵活配置实现了离线、实时Restful接口的快速开发，以及与服务管理的无缝衔接。同时，平台还支持通过自定义编写SQL、拖拽表字段等方式按需生成数据服务接口，并能够根据主要的数据使用场景自定义数据服务模板。具体来说，统一数据服务开发平台的特色功能表现在以下几方面：一是实现了对大数据平台、数据仓库、关系型数据库、图数据库、文件对象、ElasticSearch、REDIS等多源异构数据的高效连接，能够跨数据库识别数据实体、调用过程、查询数据，以及支持多个数据源的并发请求，包括调用、查询、取数和传输等操作。二是提供了通用Web页面嵌入解决方案，通过将数据应用页面嵌入到各业务系统中，实现了统一管理、统一鉴权及统一交互。三是针对文件级对象服务，构建了统一的文件服务体系。3.统一数据服务全生命周期管理统一数据服务全生命周期管理旨在将数据中台积累的数据以统一的API接口形式对外输出，从而提升数据中台的数据资产价值和对外赋能能力，并为数据开发人员和测试人员提供全面的服务管理工具，实现接入、注册、更新、审核、注销、统计分析等操作的一站式管理，同时通过配备完善的权限管理功能，为数据安全提供保障。此外，基于数据服务API接口还可完成请求授权、签名验证、安全拦截、服务容错、流量控制等交互操作，并通过人工智能等手段对数据服务以及相关数据资产进行监控与管理，实现对流量、并发数、响应时间等信息的多维呈现，且通过在服务运行过程中应用实时计算技术，还可对接入服务的关键指标进行预设阈值告警。4.统一数据服务全景价值分析在赋能业务方面，海通证券基于数据中台覆盖的全域数据，形成了涵盖当事人、资产、事件等多个业务模型维度，以及工具、监控、治理等多个技术管理维度的全方位数据服务体系。在此基础上，通过为每个服务分配唯一ID，可统计分析哪些服务更有价值、哪些服务需要重点关注以及哪些服务没有使用，为数据治理提供了高效的决策支持。同时，通过对数据服务开展全生命周期跟踪分析和血缘分析，构建丰富的冷热数据服务标签，打造了数据服务价值全景视图。其中，数据服务血缘分析聚焦于数据资产的关系建立与挖掘，利用知识图谱分析技术挖掘应用、数据服务、数据库/表、服务器、集群之间的调用关系，建立了全链路数据关系网和服务关系网，并结合图计算技术分析数据资产及服务血缘关系，全面赋能数据实体识别、服务影响度分析等应用场景。5.统一数据服务安全管理在数据安全管理方面，考虑不同微服务承载着独有的业务功能，海通证券面向敏感业务领域构建了严格的认证、鉴权和脱敏流程。一是采用用户统一编码，实现了数据服务的统一管理、统一鉴权与统一交互。二是引入熔断、降级等技术，实现了对异常流量、异常服务接口的智能控制和服务治理。三是通过使用服务链路追踪技术分析服务调用路径，可及时发现服务的安全隐患和技术瓶颈。四是结合数据分类分级、数据敏感字段发现等技术，实现了对敏感数据的脱敏和权限控制。

　　三、总结与展望

　　综上所述，统一数据服务作为数据中台“e海智数”的重要组成部分，基于统一的数据标准，实现了数据共享和服务能力共享，不仅改进了传统的数据交互模式，也进一步加强了企业的数据安全水平；同时，通过将不同源头、不同形式的数据发布成标准服务，建立自助式数据共享机制，形成了完整的全局数据共享链路服务视图。此外，统一数据服务采用基于云原生技术的微服务研发模式，使数据共享过程变得更加高效、稳定、安全，并可通过监控数据服务的整个生命周期，及时对异常情况进行告警处置。未来，海通证券拟对统一数据服务展开进一步的优化升级：一是作为承载信息传输的高速公路，数据服务性能还需持续改进，特别是云原生、容器化、微服务编排等方面的部分组件仍需要深入探索自研定制策略。二是在数据服务治理和价值展现方面，将不断加强对服务链路的跟踪分析，并以此来强化数据服务治理工作，进而结合服务和数据血缘关系持续完善数据应用价值视图。三是将严格遵照监管合规要求，探索利用多方安全计算、联邦学习等技术与外部第三方机构开展数据共享和价值交换，努力打造更为开放的数据生态。

　　参考文献：

　　[1]毛宇星.推进大中台战略加速数字化转型[J].金融电子化，2019（6）:14-16.

　　[2]王洪涛.发力数据中台，打造智慧海通[J].金融电子化，2020（9）:30-31.

　　[3]王启军.持续演进的CloudNative:云原生架构下的微服务最佳实践[M].北京：电子工程出版社，2018.

　　[4]甘似禹，车品觉，杨天顺，等.大数据治理体系[J].计算机应用与软件，2018（6）:1-8.

　　[5]DAMAInternational.DAMA数据管理知识体系指南[M].北京：清华大学出版社，2012.

　　[6]索雷斯.大数据治理[M].匡斌，译.北京：清华大学出版社，2014.

　　[7]叶天琦，沈春锋.数据血缘可视化分析平台研究与应用[J].信息技术与标准化，2020（11）:19-22.

　　作者：许红涛 吴保杰 蔚赵春 王洪涛 来源于《中国金融电脑》