Apache ShardingSphere 在京东白条场景的落地之旅

京东白条使用Apache ShardingSphere解决了千亿数据存储和扩容的问题，为大促活动奠定了基础。

2014年初，"京东白条"作为业内互联网信用支付产品，数据量爆发式的增长，每一次大促备战都是对技术人员的考验，每一次的战略转型驱动着数据架构的成长。

--张栋芳，京东白条研发负责人

京东白条数据架构演进史

自2014年2月京东白条业务上线起，为满足快速发展的业务和激增的海量数据，白条的数据架构经历了数次演进。

·2014～2015

Solr + HBase的方案解决了核心、非核心业务系统对关键数据库的访问问题，Solr作为被检索字段的索引，HBase用作全量的数据存储。

·通过Solr集群分担部分读和写的业务，缓解核心库的压力；

· Solr扩展体验上欠佳，对业务也存在较大的入侵。

· 2015～2016

引入NoSQL方案，业务数据以月份进行分表存储在MongoDB集群中，阶段性满足了结算处理场景中海量数据导入导出的需求。

· 查询热点数据效率高，非结构化的存储方式易于修改表结构；

· 依然面对着扩展差、对业务入侵强的局面，而且耗内存。

· 2016～2017

随着业务快速发展，数据量突破百亿大关，此时MongoDB面临着容量和性能的双重考验。京东白条大数据平台通过DBRep以MySQL Slave的形式采集变动信息并存储到消息中心，最后落盘到ES和HBase中。

· 该方案具有较强的数据实时性，扩展性良好；

· 基于业务框架的数据分片难以降低代码维护成本。

白条数据架构的演进间接地反应了互联网消费金融的飞速发展，也说明了每一种解决方案在不同背景下都有不同的保质期。

迫在眉睫的架构解耦

为保证业务系统在数据激增情况下始终能保持高效运行，技术团队在设计初期使用了数据分片数据架构，发挥极致性能的同时也兼顾代码的可控性，采用基于应用框架的数据拆分方案完成了数据拆分工作。

但随着产品升级迭代，早期的解决方案演变成为了眼前的问题，通过业务框架实现的数据分片方案导致业务代码复杂度增加、维护成本不断攀升，紧耦合的弊端原形毕露，应用每次升级都需要投入较多的精力对分片做相应调整，研发人员难以专注于业务本身。

面对如上问题，技术团队经权衡后开始考虑使用成熟的分库分表组件来承担这部分工作，让业务系统升级和架构调整不再复杂。基于自研框架分片和基于ShardingSphere分片的对比如下：

下一阶段工作，解耦。

显然京东白条数据架构将迎来一个新的阶段，解耦的驱动力可以概括如下3方面：

· 聚焦精力：将基于架构的数据库拆分，交给分表组件实现，研发精力需聚焦于业务本身；

· 简化升级：解耦技术架构，简化业务系统升级工作的研发流程；

· 规划未来：为系统提供良好的扩展能力，从容应对"618"和"11. 11"等活动。

京东白条业务体量巨大，是名副其实的金融级高并发、海量数据的业务场景，因此分库分表组件应具有以下特点：

1.产品成熟稳定

2.极致性能表现

3.处理海量数据

4.架构灵活扩展

Apache ShardingSphere解决方案

ShardingSphere-JDBC 是Apache ShardingSphere的第一款产品，它定位为轻量级Java框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。

ShardingSphere-JDBC的以下特点能够很好地满足白条业务场景：

· 产品成熟：经数年打磨产品成熟度高，且社区活跃；

· 性能良好：微内核、轻量化的设计，性能损耗极小；

· 改造量小：支持原生的MySQL协议，研发工作量小；

· 扩展灵活：搭配使用迁移同步组件轻松实现数据扩展。

经内部大量系统性验证之后，Apache ShardingSphere成为了京东白条数据分片中间件的首选方案，2018年底正式开始对接。

产品适配

为能全面支撑白条业务、提供更好的业务体验，Apache ShardingSphere在京东白条业务落地过程中对产品的功能和性能方面进行了更多的支持和提升，产品再一次经历典型案例的打磨。

· 升级SQL引擎

白条的业务逻辑非常复杂且庞大，多样化场景的需求对SQL的兼容程度有着较高要求，Apache ShardingSphere重构了SQL解析模块，并支持了更多的SQL。

· 路由至单数据节点，SQL 100%兼容；

· 路由至多数据节点，可全面支持DML、DDL、DCL、TCL和部分DAL。支持分页、去重、排序、分组、聚合、关联查询。

· 分布式主键

Apache ShardingSphere提供了内置的分布式主键生成器，例如UUID、SNOWFLAKE等分布式主键生成器。同时Apache ShardingSphere提供了分布式主键生成器的接口，用户可自定义自增主键生成算法来满足特殊场景的需求。

· 业务分片键值注入

对于没有分片条件的SQL，Apache ShardingSphere使用ThreadLocal管理分片键值，通过编程的方式向HintManager中添加分片条件，该分片条件仅在当前线程内生效，实现了SQL零侵入。

除了对功能上的增强，Apache ShardingSphere为满足京东白条业务严苛的性能要求，同时做了多方面调优。

· SQL解析结果缓存

· JDBC元数据信息缓存

· Bind表&广播表的使用

· 自动化执行引擎&流式归并

经两团队通力合作，京东白条业务与Apache ShardingSphere相结合的各项指标满足预期，性能与原生JDBC几乎一致。

关于对接过程中的问题详情及方案，请通过《Apache ShardingSphere对接京东白条实战》一文来了解。

业务割接

Apache ShardingSphere使用定制化HASH策略对数据进行分片，有效避免了热点数据问题，拆分后的数据节点数达近万个，整个割接过程大约持续了4周左右的时间。

1. DBRep读取数据，通过Apache ShardingSphere将数据同步至目标数据库集群；

2.两套集群并行运行，数据迁移后再使用自研工具对业务和数据进行校验。

DBRep是ShardingSphere-Scaling产品设计的基石，Scaling具备的自动化能力为后续的迁移扩容工作提供了更多的便利。

Apache ShardingSphere带来的收益

· 简化升级路径

通过架构解耦，业务系统升级所涉及技术栈得到有效缩短，研发团队不再需要关注分表设计，精力全部聚焦于业务本身，升级路径得到大幅度优化；

· 节省研发力量

引入成熟的Apache ShardingSphere无需重新开发分表组件，在简化业务升级路径的基础上节省了大量研发力量；

· 架构灵活扩展

搭配使用Scaling同步迁移组件从容面对"618"和"11.11"等大型活动，系统灵活扩容。

写在最后

京东白条业务的快速增长驱动着数据架构不断升级，本次架构演进通过引入Apache ShardingSphere助力白条架构解耦，简化了系统升级路径，使研发团队只需关注业务本身，同时也实现了数据架构的灵活扩展，在消费金融场景开启了良好的开端。

互联网信用消费模式发展逐步多样化，未来Apache ShardingSphere将与京东展开更多业务场景的实践和探索，通过推动金融科技创新发展，进一步提升互联网金融的创新速度和效率。

ShardingSphere作为Apache基金会下的顶级开源项目，在GitHub上获得了超14K Star的关注，已成为行业内受欢迎的开源项目，全球有超过170家企业用户登记使用，覆盖金融、电子商务、云服务、旅游、物流、教育、文娱等多个领域。