文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > 工程科技 > 信息与通信 > 一种基于Sharding碎片技术提升分布式非结构化数据库扩展能力的方法
侵权投诉

一种基于Sharding碎片技术提升分布式非结构化数据库扩展能力的方法

第2 0卷第 6期 2 0 1 3年 1 2月 文章编号: 1 0 0 9— 2 2 6 9 ( 2 0 1 3 ) 0 6— 0 0 1 2—0 6

兰州工业学院学报 J o u r n a l o f L a n z h o u I n s t i t u t e o f T e c h n o l o g y

Vo l _ 2 0 No . 6 De e . 2 0l 3

一

种基于 S h a r d i n g碎片技术提升分布式非结构化 数据库扩展能力的方法 王正明,白 帆,徐文钢,林正昱 (上海埃帕信息科技有限公司,上海 2 0 0 1 2 7 )

摘要:大数据的扩展是分布式非结构化数据库的关键技术, S h a r d i n g碎片技术是水平扩展的一种解决方案,能够有效解决单节点数据库服务器的 I/ 0扩展.对S h a r d i n g碎片技术的适用环境进行研究的基础上,给出了一种基于 S h a r d i n g碎片技术的分布式非结构化数据库系统扩展能力提升方

法.经验证,该方法能够有效提升分布式非结构化数据库在非事务型大数据处理中的 I/ 0吞吐能 力,显著提升数据库扩展能力.

关键词:分布式;非结构化数据库;碎片;扩展中图分类号: T P 3 3 3 文献标志码: A

0 引言 在互联网时代,尤其是社交网络、电子商务与移动数据通信技术把人类社会带入了前所未有的

件的扩容去解决数据库 I/ 0瓶颈问题心 - 3 J,往往又会导致硬件成本、人员维护成本、开发人员技术水平要求较高等问题. 本文通过对 S h a r d i n g碎片技术适合的应用领域进行分析研究,提出了一种在非事务型、大规模

信息量与形式极具扩张的时代,需要处理的数据量 急速膨胀、数据来源多样、数据内容复杂、数据结构迥异,结构与非结构数据信息交织混合 .因此社会需要一个有效应对新局面的信息存储管理手段,以便能够低成本、有效地将这些大量、高速、多变化的数据存储下来,并随时进行分析与计算,分布式非结构化数据库正是在这个大背景下产生的数据存 储管理方案 .

数据处理应用场景中改进分布式非结构化数据库存储管理提升扩展能力的方法 .

1 S h a r d i n g碎片技术

研究 1 . 1 S h a r d i n g的定义

S h a r d即“碎片”, S h a r d i n g也称作数据切分 l 4 J, 或分区.是指通过某种条件,把同一个数据库中的

如何提升数据库的扩展能力一直是数据库技术的核心问题,过去,一些商业数据库针对结构化 数据提供了一些数据库扩展的方案,例如共享存储

数据分散到多个数据库或多台机器上,以减小单台 机器压力 . 1 . 2 S h a r d i n g和传统数据库分区的区别 1 )扩展方式 .

机制等…,但随着互联网高速发展,随着非结构化数据与结构化数据的复合,并且非结构化数据量远超越了结构化数据,这些形态的改变导致过去商业数据库软件对数据库的自动扩展能力显示出不适应的情况,暴露出一些不足之处,例如, I/ 0密集型应用往往瓶颈产生于存储端,而单纯通过对存储硬

传统数据库分区属于垂直切分 ( S c a l e U p ),以 表为单位,把不同的表分散到不同的数据库或主机上, S h a r d i n g属于水平切分 ( S c a l e O u t ),行为单位, 将同一个表中的数据按照某种条件拆分到不同的数据库或主机上 (也称节点 ) .

} 收稿日期: 2 0 1 3 - 0 9 . 2 1 作者简介:王正明( 1 9 7 8 ),男,本科,技术总监

一种基于Sharding碎片技术提升分布式非结构化数据库扩展能力的方法

第1页

你可能喜欢

热门文档

相关文档

  • 分布式系统

    分布式文件系统是实现非结构化数据存储的主要技术, ...“ Sharding” 技术 ,设计了一个分布式文件系统访问...这也可以解释为什么传 统数据库的扩展能力有限的原因...

  • 分布式存储技术及应用

    分布式文件系统是实现非结构化数据存储的主要技术, ...“Sharding”技术,设计了一个分布式文件系统访问框架,...这也可以解释为什么 传统数据库的扩展能力有限的原因...

  • mysql主从分布式sharding 切分表远离

    mysql主从分布式sharding 切分表远离_IT/计算机_专业资料。mysql主从分布...什么是数据切分 "Shard" 这个词英文的意思是"碎片",而作为数据库相关的技术...

  • CAP理论与分布式数据库

    CAP理论与分布式数据库_IT/计算机_专业资料。CAP...采用 采用 Sharding 技术,将数据自动分布到不同的 ... 2014求职面试之半结构化... ppt简历精美模板带...

  • CAP理论与分布式数据库

    要想实现一个分布式数据库集 群非常困难,这也解释了为什么数据库的扩展能力十分...采用 Sharding 技术,将数据自动分布到不同的 Virtual node,最大限度的利用机器...

  • 网易分布式数据库平台

    网易分布式数据库平台(DDB)是一种面向结构化数据的...基于Sharding的Scale Out ? 支持常用的RDB功能:DDL...技术挑战– 降低对线上服务的影响 – 灵活地扩充...

  • 分布式数据库技术探讨_George V3

    Sharding, MySQL, Memcached, Map-Reduce, Hadoop,...海量数据处理技术 非结构化数据管理 Q&A 23 Meet ...分布式架构设计: ? 提供处理海量数据的扩展能力 ? ...

  • 分布式数据库

    所以基本上无法使用动态页面静态化技术,因此数据库...非常方便并且成本很低,避免了“sharding”操作 的...但是当数据库结构非常简单时,SQL可能没 有太大用处...

  • 智能电网cps数据管理技术

    分布式数 据库,云计算平台,互联网,和可扩展的存 ...Sharding 技术 带来一些严重问题 : 当某个数据分片...非结构化数据并存,造成了 华北电力大学 数据资源的...

  • ORACLE 云计算分布式数据库技术探讨

    Sharding, MySQL, Memcached, Map-Reduce, Hadoop,...海量数据处理技术 非结构化数据管理 Q&A 10 ...分布式架构设计: ? 提供处理海量数据的扩展能力 ? ...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email