海量数据分布式存储方案的分析与设计
1 数据存储方案设计
1.1 数据存储方案分析 当遇到海量数据时,将所有数据存储到一台服务器上变成了一个较难完成的事情,随着数据的增加,要求服务提供厂商提供更大的存储设备来满足这种要求,但是由于科技的限制,这种可以无限扩张的设备并不存在[5]。退而言之,就算存在这么一台设备可以存储所有的信息,那么用户在一台服务器上进行数据的索引查询也会是处理器变的不堪重负。分布式[6]成为了解决这种问题的一个很好的解决方案。
使用分布式的解决方案存在着一系列的优点:
1) 可以使数据分散到不同的存储设备上,这样存在着很多好处,加入数据来源于 世界各地,数据可以存放到数据来源地的镜像上,这么使用者在连接自己本地的数据时会享受到较好的速度;
2) 针对每一台存储设备,可对其进行单独的建立索引,从而减轻主服务器的负担。 但是分布式进行数据的存储仍然还是存在很多问题需要解决的,例如我们如何去分配数据,使他们存储在不同的分布式文件存储系统上。如何解决动态的添加或减少文件存储系统时服务器对已存储数据的影响。
1.2 数据存储方案的初步设计
如何将海量数据分配处理,哈希化[7]是一个很好的解决方案,因此,数据存储的方案被初步设计为使用将数据哈希处理后根据哈希结果选择对应的存储服务器进行存储的方案。 假设有N台服务器,将服务器进行编号,其中M(i)表示编号为i的服务器。 则将数据存储的初步设计方案设计成为:
1) 根据数据来源的IP :m,将其转换为16进制整数m(16),然后根据相应的方法,转 化成为十进制整数m(10);
2) 对于m(10)进行取模运算,即m(10)%N, 将结果记录为t;
3) 将来自于IP:m的数据存储到服务器M(t+1)的中。
这是数据存储方案的最初设计,但是这种设计的存储方案存在着很多问题:
1) 数据的存储并非是按照IP进行的,这样,同一地区上传的内容有可能被存储在不 同存储器,如果数据来源和服务器分布是世界范围的,则可能导致a地区的数据被分 配到b地区的文件存储系统,这对于数据的获得速度有着很大的影响[8],下图1为IBM Rational在进行用户调查时统计的中国用户对来自各地信息需求,其中U标示us,E标示Europe ,而O则表示世界其他各地的信息。由此可见,将数据进行合理的分配对用户获得较好的用户体验有很大帮助。
3性能分析3.1可靠性 在高动态的分布式存储系统中,结点在任意时刻 可能表现出... 海量数据分布式存储方案... 6页 1下载券 一种基于分布式开放资源... 11页 ...
本论文的主要工作是为分布式入侵检测系统COMON设计海量数据存储系统。系统位 于...然后讲述了在海量数据情况下数据库存储和文件存储的优化 方案,进行了性能分析,...
的同时,更需要对海量存储的模式、数据库策略及应用体系架构有更 高的设计考虑。...分布式是解决这种问题的一个很好的解决方案。 存储分类(根据服务器类型) Page ?...
在对海量设计文档的分布式存储技术进行分析比 较后...适合现有生产环境 的解 决方案,并且在 分布式存储 ... 海量RDF数据的分布式存储... 32人阅读 4页 ...
模 型对海量的城市交通流量数据进行了数据挖掘分析。...基于Ha—doop设计城市道路交通流量数据分布式存储与挖...库具有独特的优势,故选择HBase作为分布式数据存储方案...
根据数据存储的介质不同,可 以分为磁盘数据库和 ...为了实现海量信 进行 数据 初 始化 分布 。对 于...方案 ,但提 2 分布式 内存数据库数据分布的分析 ...
思维导图经典案例 Excel键盘快捷键 Photoshop的抠图技巧分析文档贡献者 ... 面向分布式IDS的海量数据... 67页 免费 海量数据分布式存储方案... 6页 1...
构建了海量海洋科学数据存储平台解决方案,采用Linux...本系统设计开发的重点内容.它 采用分布式数据库技术...分析其海量数据的 结构类型,对北部湾海洋科学数据...
个分布式存储系统,提供了高效的 海量数据存储解决方案.HDFS借鉴了GOogle的GFSL41文件系统,是设计运行在通用硬件上的分布 式文件系统,适合于大数据的读写,且在设计...
基于Hadoop 平台的数据分析方案的设计应用_IT/计算机_专业资料。面对互联网上的海量数据,单台主机已无法满足其存储和计算要求,分布式存储和分布式计算的应用成为必然...
热门文档