基于一致性哈希算法的分布式机电系统海量数据存储策略研究

简介

针对分布式机电系统远程全寿命周期运行监测庞大的海量数据分布式存储与管理的负载不均衡问题,提出一种基于权值比例分配各主机节点数量的分布式存储策略。分析分布式机电系统远程监测平台的数据流结构及其数据特征,建立基于一致性哈希算法的机电液数据的哈希环信息映射,同时引入虚拟节点解决哈希偏移问题。考虑各主机性能差异,基于权值分配虚拟节点,实现负载的自适应,并建立了虚拟节点的动态分配机制。试验结果表明:该存储策略具有良好的负载均衡性,较平均分配各主机节点数量的一致性哈希动态分配存储策略效果更好,能有效减少动态分配次数,使系统快速进入正常运行状态,实现数据的高效存储。