萝莉 porn 保证散布式系统数据一致性的6种决策
编者按：本文由「高可用架构后花坛」群商议整理而成萝莉 porn。
有东谈主的所在，就有江湖
有江湖的所在，就有纷争
问题的发祥
在电商等业务中，系长入般由多个零丁的办事构成，如何惩办散布式调用时候数据的一致性？
具体业务场景如下，比如一个业务操作，若是同期调用办事 A、B、C，需要自大要么同期告捷；要么同期失败。A、B、C 可能是多个不同部门竖立、部署在不同办事器上的汉典办事。
在散布式系统来说，若是不想捐躯一致性，CAP 表面告诉咱们只可摈弃可用性，这领会不行接受。为了便于商议问题，先爽脆先容下数据一致性的基础表面。
强一致
当更新操作完成之后，任何多个后续进度大略线程的走访齐会复返最新的更新过的值。这种是对用户最友好的，等于用户上一次写什么，下一次就保证能读到什么。证据 CAP 表面，这种终了需要捐躯可用性。
弱一致性
系统并不保证续进度大略线程的走访齐会复返最新的更新过的值。系统在数据写入告捷之后，不高兴立即不错读到最新写入的值，也不会具体的高兴多久之后不错读到。
最终一致性
弱一致性的特定体式。系统保证在莫得后续更新的前提下，系统最终复返上一次更新操作的值。在莫得故障发生的前提下，不一致窗口的时代主要受通讯延长，系统负载和复制副本的个数影响。DNS 是一个典型的最终一致性系统。
在工程实际上，为了保险系统的可用性，互联网系统大多坚硬一致性需求退换成最终一致性的需求，并通过系统推论幂等性的保证，保证数据的最终一致性。但在电商等场景中，关于数据一致性的惩办关节和常见的互联网系统（如 MySQL 主从同步）又有一定区别，群友的商议分红以下 6 种惩办决策。
1. 回避散布式事务——业务整合
业务整合决策主要领受将接口整合到腹地推论的关节。拿问题场景来说，则不错将办事 A、B、C 整合为一个办事 D 给业务，这个办事 D 再通过退换为腹地事务的口头，比如办事 D 包含腹地办事和办事 E，而办事 E 是腹地办事 A ~ C 的整合。
优点：惩办（回避）了散布式事务。
污点：不问可知，把本来蓄意拆分好的业务，又耦合到了沿途，业务责任不澄莹，不利于小心。
由于这个关节存在昭彰污点，时常不建议使用。
2. 经典决策 - eBay 模式
此决策的中枢是将需要散布式处理的任务通过音问日记的口头来异步推论。音问日记不错存储到腹地文本、数据库或音问部队，再通过业务纪律自动或东谈主工发起重试。东谈主工重试更多的是操纵于支付场景，通过对账系统对过后问题的处理。
音问日记决策的中枢是保证办事接口的幂等性。
计划到网罗通讯失败、数据丢包等原因，若是接口不行保证幂等性，数据的惟一性将很难保证。
eBay 口头的主要想路如下。
Base：一种 Acid 的替代决策
此决策是 eBay 的架构师 Dan Pritchett 在 2008 年发表给 ACM 的著作，是一篇证明 BASE 原则，大略说最终一致性的经典著作。文中商议了 BASE 与 ACID 原则在保证数据一致性的基本各异。
若是 ACID 为分区的数据库提供一致性的遴荐，那么如何终了可用性呢？谜底是
BASE (basically available, soft state, eventually consistent)
BASE 的可用性是通过复古局部故障而不是系统全局故障来终了的。底下是一个爽脆的例子：若是将用户分区在 5 个数据库办事器上，BASE 联想饱读动近似的处理口头，一个用户数据库的故障只影响这台特定主机那 20% 的用户。这里不触及任何魔法，不外它确乎不错带来更高的可感知的系统可用性。
著作中形貌了一个最常见的场景，若是产生了一笔交游，需要在交游表加多记载，同期还要修改用户表的金额。这两个表属于不同的汉典办事，是以就触及到散布式事务一致性的问题。
文中建议了一个经典的惩办关节，将主要修改操作以及更新用户表的音问放在一个腹地事务来完成。同期为了幸免重迭消用度户表音问带来的问题，达到屡次重试的幂等性，加多一个更新记载表 updates_applied 来记载照旧处理过的音问。
系统的推论伪代码如下
（点击可全屏缩放图片）
基于以上关节，在第一阶段，通过腹地的数据库的事务保险，加多了 transaction 表及音问部队 。
在第二阶段，辩认读出音问部队（但不删除），通过判断更新记载表 updates_applied 来检测磋磨记载是否被推论，未被推论的记载会修改 user 表，然后加多一条操作记载到 updates_applied，事务推论告捷之后再删除部队。
通过以上关节，达到了散布式系统的最终一致性。进一步了解 eBay 的决策不错参考文末集结。
3. 去哪儿网散布式事务决策
跟着业务范围络续地扩大，电商网站一般齐要濒临拆分之路。等于将底本一个单体操纵拆分红多个不同责任的子系统。比如曩昔可能将面向用户、客户和运营的功能齐放在一个系统里，当今拆分为订单中心、代理商经管、运营系统、报价中心、库存经管等多个子系统。
拆分领先要濒临的是什么呢？
最入手的单体操纵通盘功能齐在沿途，存储也在沿途。比如运营要取消某个订单，那获胜去更新订单表现象，然后更新库存表就 ok 了。因为是单体操纵，库在沿途，这些齐不错在一个事务里，由关连数据库来保证一致性。
但拆分之后就不同了，不同的子系统齐有我方的存储。比如订单中心就只经管我方的订单库，而库存经管也有我方的库。那么运营系统取消订单的时候等于通过接口调用等口头来调用订单中心和库存经管的办事了，而不是获胜去操作库。这就触及一个『散布式事务』的问题。
散布式事务有两种惩办口头
1. 优先使用异步音问。
上文照旧说过，使用异步音问 Consumer 端需要终了幂等。
幂等有两种口头，一种口头是业务逻辑保证幂等。比如接到支付告捷的音问订单现象酿成支付完成，若是现时现象是支付完成，则再收到一个支付告捷的音问则说明音问重迭了，获胜动作音问告捷处理。
另外一种口头若是业务逻辑无法保证幂等，则要加多一个去重表大略近似的终了。关于 producer 端在业务数据库的同实例上放一个音问库，发音问和业务操作在并吞个腹地事务里。发音问的时候音问并不立即发出，而是向音问库插入一条音问记载，然后在事务提交的时候再异步将音问发出，发送音问若是告捷则将音问库里的音问删除，若是遭遇音问部队办事特殊或网罗问题，音问莫得告捷发出那么音问就留在这里了，会有另外一个办事络续地将这些音问扫出再行发送。
2. 有的业务不顺应异步音问的口头，事务的各个参与方齐需要同步的获取服从。这种情况的终了口头其实和上头近似，每个参与方的腹地业务库的同实例上头放一个事务记载库。
比如 A 同顺次用 B，C。A 腹地事务告捷的时候更新腹地事务记载现象，B 和 C 相通。若是有一次 A 调用 B 失败了，这个失败可能是 B 果真失败了，也可能是调用超时，本体 B 告捷。则由一个中心办事对比三方的事务记载表，作念一个最终决定。假定当今三方的事务记载是 A 告捷，B 失败，C 告捷。那么最终决定有两种口头，证据具体场景：
重试 B，直到 B 告捷，事务记载内外记载了各项调用参数等信息；
推论 A 和 B 的抵偿操作(一种可行的抵偿口头是回滚)。
对 b 场景作念一个特别说明：比如 B 是扣库存办事，在第一次调用的时候因为某种原因失败了，然则重试的时候库存照旧变为 0，无法重试告捷，这个时候只须回滚 A 和 C 了。
那么可能有东谈主以为在业务库的同实例里放音问库或事务记载库，会对业务侵入，业务还要温雅这个库，是否一个合理的联想？
本体上不错依靠运维的时候来简化竖立的侵入，咱们的关节是让 DBA 在公司通盘 MySQL 实例上预驱动化这个库，通过框架层（音问的客户端或事务 RPC 框架）透明的在背后操作这个库，业务竖立东谈主员只需要温雅我方的业务逻辑，不需要获胜走访这个库。
归来起来，其实两种口头的根柢旨趣是近似的，也等于将散布式事务退换为多个腹地事务，然后依靠重试等口头达到最终一致性。
快播在线观看4. 蘑菇街交游创建过程中的散布式一致性决策
交游创建的一般性历程
咱们把交游创建历程概括出一系列可扩张的功能点，每个功能点齐不错有多个终了（具体的终了之间有组合/互斥关连）。把各个功能点按照一定历程串起来，就完成了交游创建的过程。
濒临的问题
每个功能点的终了齐可能会依赖外部办事。那么如何保证各个办事之间的数据是一致的呢？比如锁定优惠券办事调用超时了，不行详情到底有莫得锁券告捷，该若那处理？再比如锁券告捷了，然则扣减库存失败了，该若那处理？
决策选型
办事依赖过多，会带来经管复杂性加多和结识性风险增大的问题。试想若是咱们强依赖 10 个办事，9 个齐推论告捷了，临了一个推论失败了，那么是不是前边 9 个齐要回滚掉？这个老本还曲直常高的。
是以在拆分大的历程为多个小的腹地事务的前提下，关于非及时、非强一致性的关联业务写入，在腹地事务推论告捷后，咱们遴荐发音问见知、关联事务异步化推论的决策。
音问见知经常不行保证 100% 告捷；且音问见知后，接收方业务是否能推论告捷如故未知数。前者问题不错通过重试惩办；后者不错采选事务音问来保证。
然则事务音问框架自己会给业务代码带来侵入性和复杂性，是以咱们遴荐基于 DB 事件变化见知到 MQ 的口头作念系统间解耦，通过订阅方破费 MQ 音问时的 ACK 机制，保证音问一定破费告捷，达到最终一致性。由于音问可能会被重发，音问订阅方业务逻辑处理要作念好幂等保证。
是以咫尺只剩下需要及时同步作念、有强一致性条目的业务场景了。在交游创建过程中，锁券和扣减库存是这么的两个典型场景。
要保证多个系统间数据一致，乍一看，必须要引入散布式事务框架材干惩办。但引入相配重的近似二阶段提交散布式事务框架会带来复杂性的急剧飞腾；在电商鸿沟，总共的强一致是过于期望化的，咱们不错遴荐准及时的最终一致性。
咱们在交游创建历程中，领先创建一个不可见订单，然后在同顺次用锁券和扣减库存时，针对调用特殊（失败大略超时），发出废单音问到MQ。若是音问发送失败，腹地会作念时代道路式的异步重试；优惠券系统和库存系统收到音问后，会进行判断是否需要作念业务回滚，这么就准及时地保证了多个腹地事务的最终一致性。
5. 支付宝及蚂蚁金融云的散布式办事 DTS 决策
业界常用的还有支付宝的一种 xts 决策，由支付宝在 2PC 的基础上矫正而来。主要想路如下，大部分信息援用自官方网站。
散布式事务办事简介
散布式事务办事 (Distributed Transaction Service, DTS) 是一个散布式事务框架，用来保险在大范围散布式环境下事务的最终一致性。DTS 从架构上分为 xts-client 和 xts-server 两部分，前者是一个镶嵌客户端操纵的 JAR 包，主要隆重事务数据的写入和处理；后者是一个零丁的系统，主要隆重特殊事务的规复。
中枢秉性
传统关连型数据库的事务模子必须投降 ACID 原则。在单数据库模式下，ACID 模子能有用保险数据的完好性，然则在大范围散布式环境下，一个业务经常会逾越多个数据库，如何保证这多个数据库之间的数据一致性，需要其他行之有用的政策。在 JavaEE 步伐中使用 2PC (2 Phase Commit, 两阶段提交) 来处理跨 DB 环境下的事务问题，然则 2PC 是反可伸缩模式，也等于说，在事务处理过程中，参与者需要一直捏有资源直到通盘散布式事务收尾。这么，当业务范围达到千万级以上时，2PC 的局限性就越来越昭彰，系统可伸缩性会变得很差。基于此，咱们领受 BASE 的想想终澄莹一套近似 2PC 的散布式事务决策，这等于 DTS。DTS在充分保险散布式环境下高可用性、高可靠性的同期兼顾数据一致性的条目，其最大的秉性是保证数据最终一致 (Eventually consistent)。
爽脆的说，DTS 框架有如下秉性：
最终一致：事务处理过程中，会有蓦地不一致的情况，但通过规复系统，不错让事务的数据达到最终一致的运筹帷幄。
条约爽脆：DTS 界说了近似 2PC 的圭臬两阶段接口，业务系统只需要终了对应的接口就不错使用 DTS 的事务功能。
与 RPC 办事条约无关：在 SOA 架构下，一个或多个 DB 操作经常被包装成一个一个的 Service，Service 与 Service 之间通过 RPC 条约通讯。DTS 框架构建在 SOA 架构上，与底层条约无关。
与底层事求终了无关： DTS 是一个概括的基于 Service 层的主意，与底层事求终了无关，也等于说在 DTS 的范围内，非论是关连型数据库 MySQL，Oracle，如故 KV 存储 MemCache，大略列存数据库 HBase，只须将对其的操作包装成 DTS 的参与者，就不错接入到 DTS 事务范围内。
以下是散布式事务框架的历程图
终了
一个完好的业务步履由一个主业务办事与些许从业务办事构成。
主业务办事隆重发起并完成通盘业务步履。
从业务办事提供 TCC 型业务操作。
业务步履经管器截止业务步履的一致性，它登记业务步履中的操作，并在步履提交时阐发通盘的两阶段事务的 confirm 操作，在业务步履取消时调用通盘两阶段事务的 cancel 操作。”
与 2PC 条约相比
莫得单独的 Prepare 阶段，裁减条约老本
系统故障容忍度高，规复爽脆
6. 农信网数据一致性决策
1. 电生意务
公司的支付部门，通过接入其它第三方支付系统来提供支付办事给业务部门，支付办事是一个基于 Dubbo 的 RPC 办事。
关于业务部门来说，电商部门的订单支付，需要调用
支付平台的支付接口来处理订单；
同期需要调用积分中心的接口，按照业务纪律，给用户加多积分。
从业务纪律上需要同期保证业务数据的及时性和一致性，也等于支付告捷必须加积分。
咱们领受的口头是同顺次用，领先处理腹地事务业务。计划到积分业务相比单一且业务影响低于支付，由积分平台提供加多与回撤接口。
具体的历程是先调用积分平台加多用户积分，再调用支付平台进行支付处理，若是处理失败，catch 关节调用积分平台的回撤关节，将本次处理的积分订单回撤。
(点击图片不错全屏缩放)
2. 用户信息变更
公司的用户信息，长入由用户中心小心，而用户信息的变更需要同步给各业务子系统，业务子系统再证据变更内容，处理各自业务。用户中心动作 MQ 的 producer，添加见知给 MQ。APP Server 订阅该音问，同步腹地数据信息，再处理磋磨业务比如 APP 退出下线等。
咱们领受异步音问见知机制，咫尺主要使用 ActiveMQ，基于 Virtual Topic 的订阅口头，保证单个业务集群订阅的单次破费。
归来
散布式办事对繁衍的配套系统条目相比多，绝顶是咱们基于音问、日记的最终一致性决策，需要计划音问的积压、破费情况、监控、报警等。
参考贵寓
Base: An Acid Alternative (eBay 决策)
In partitioned databases, trading some consistency for availability can lead to dramatic improvements in scalability.
英文版 ： ?id=1394128
华文版：
散布式事务办事 (DTS) https://www.cloud.alipay.com/docs/middleware/xts/index.html
感谢李玉福、余昭辉、蘑菇街七公提供决策，其他多位群成员对本文内容亦有孝敬。
本文剪辑李玉福、Tim Yang萝莉 porn，转载请注明来自@高可用架构