企业网盘 > 新闻动态 > 成功案例

广发证券基于巨杉文档型数据库的改造研究与技术创新

发布日期: 2023-12-11

近年来,随着大数据存储和计算能力的增强,云服务、移动互联网、特别是人工智能技术的进步,金融机构开始大量使用文档型数据库来存储核心数据,如公文、合同、个人信息等。以应对日益增多的数据结构变化和无固定格式数据场景。但是,目前文档型数据库领域仍由国外厂商产品主导,这给我国的金融数据安全带来了巨大的隐患。



巨杉文档型数据库在广发证券的应用场景

以消息中心系统为例,广发证券消息中心系统已运行多年,是广发证券易淘金等终端服务关键组成部分,为广发证券自研应用终端提供统一消息服务,并与主流的手机厂商对接互联,构建了一个高度互联的信息推送网络。消息数据处理量超亿条每天,随业务拓展仍持续增长。每日上亿级的信息量及业务扩展等需求,对系统的实时性和可靠性提出了严格要求。

经过测试与验证,巨杉数据库完全具备消息中心系统MongoDB 替换的能力要求,面对高并发实时处理型场景提供高性能、可靠稳定以及无限水平扩展的数据库服务。并且提供有同城双中心、同城三中心、两地三中心和三地五中心等多种容灾方案。


▲消息中心系统架构图


通过与巨杉数据库的联合技术攻关,广发证券已在业务系统中的多个场景都对巨杉数据库进行了测试和验证,包括:高吞吐量场景(如:消息中心系统在短时间内入库数百万记录),大数据量分析场景(如:私募基金绩效评价系统对数百万的记录进行分析计算),敏捷需求响应场景(如:易淘金大众客服系统的高频业务需求迭代)等。


基于巨杉文档型数据库的改造与创新

2023年,广发证券联合巨杉数据库启动文档型数据库国产化技术创新,先后完成可行性研究、技术验证、应用迁移方案验证、成本对比评估等,并基于自身的大量业务场景完成测试验证。整体技术攻关及应用实践具有以下创新点:



改造与创新

1、按照“兼容-迁移-替换”的设计思路,基于国产巨杉文档型数据库底座的开发扩展,实现了对国外文档型数据库接口的协议兼容,并根据业务应用场景实际需求进行测试、验证,完成了对国外文档型数据库的平替。

2、文档型数据库核心技术自主可控,能够实现业务系统的弹性扩展及高性能处理,可以更好地满足证券业对海量数据存储和管理需求。实现了行业使用文档型数据库国产化替代的技术突破,摆脱对国外文档型数据库的强依赖。

3、在新、旧业务系统切换过程中采用“平滑迁移”的设计思路,总体迁移成本低,迁移难度低,风险低,可靠性高。通过迁移前分析评估、迁移中全量/增量方案制定、迁移后数据验证等环节,有效降低一次性投产潜在的系统性风险,保障了业务连续性。

4、匹配大型券商的金融场景的严苛要求,实现了对文档型数据库的国产化技术的充分打磨。在结合国内行业发展需求特点的同时,降低了文档型数据库的使用成本,提升了产品的稳定性和成熟度,推动了行业技术生态发展。

▲巨杉文档型数据库实现对MongoDB替代的技术方案


巨杉文档型数据库具备响应速度快、客户体验良好、功能灵活、技术自主可控、运行高效稳定等特点,满足广发证券在数字化转型背景下的业务发展需要,也对证券行业文档型数据库的国产化替代具有较高的参考价值。


总结

接下来,广发证券将逐步对更多的应用系统进行替换改造。目前,巨杉数据库与朝阳永续基金研究平台Pro(私募基金绩效评价系统),联想在线文档系统zOffice系统等,也已经完成了相关对接测试及验证工作,即将在生产系统中对国外文档型数据库进行迁移替换

图片


巨杉数据库作为国内技术领先的数据库厂商,已在超100家金融机构的核心生产系统上线使用。并作为金融业、政企、能源、运营商等数据库基础设施,累计为过亿民众提供金融、出行、生活背后的数据平台底座。已经正式生产上线的系统中最大运行集群,数据量达1.4万亿行、容量达3PB、规模超过500台服务器,稳定生产运行巨杉数据库时间最长的客户长达8年。


巨杉数据库,持续聚焦于利用分布式文档型数据库解决海量数据的存储和管理。自成立以来的10余年间,巨杉数据库已经规模化应用于银行、保险、证券、汽车、新能源、政务等众多领域,服务超100家金融机构的核心生产系统,积累了丰富的实践经验,以帮助客户应对数字化转型带来的挑战。

图片

展望未来,我们相信国产文档型数据库将会在广发证券内部得到更广泛的应用,为客户提供更高效、更安全、更灵活的数据管理解决方案,推动金融行业的数字化进程。


本文转载自:巨杉数据库