ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

Java实现一致性hash算法

2022-01-01 11:30:20  阅读:128  来源: 互联网

标签:10 hash 读取 离线 一致性 Java 迁移 数据 节点


数据迁移

当缓存集群增加节点之后,如果直接将流量迁移到新节点,此时新节点上没有数据,这时候落到新节点上的数据读请求便会出现数据读取不到的情况,假若缓存的数据逻辑复杂,则可能会出现短暂性的服务响应慢的情况(因为需要重新计算数据,写入缓存),所以这种情况下,适合对数据做迁移之后再将读取流量迁移到新节点。

那该如何做到平滑的迁移呢?

以下方案,未经过实际操作,仅是自己思路,仅供参考。

数据迁移过程中需要关注的点:

  1. 迁移过程数据不丢失

  2. 迁移过程中不影响线上服务,不能存在数据不一致的情况。

基本的步骤如下:

  1. 数据首先双写,新数据同时写到新旧节点上,但读取依旧只从旧节点读取,新节点只提供写入,不提供读取操作,所以一段时间内,旧节点的数据量不会变小。

  2. 线上双写之后,开始做离线数据迁移,此时在某个时间节点上开始做,仅做截止到某个时间节点的数据迁移,迁移到新节点,比如,假如10点整开始离线数据迁移,可以只迁移截止到10点整的数据,10点之后的数据暂不做离线迁移。(其实10点后的数据已经没必要迁移,因为之前已做双写操作,新数据已经在新节点上存在)

  3. 离线迁移完成之后,将线上双写下掉,同时将读操作切换到新节点即可。

  4. 补充步骤,读写操作都切换到新节点之后,旧节点数据可做部分的删除操作,释放下空间。

标签:10,hash,读取,离线,一致性,Java,迁移,数据,节点
来源: https://blog.csdn.net/u010979642/article/details/114842277

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有