文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 数据库分库技巧
侵权投诉

数据库分库技巧

数据库水平切分的实现原理解析---分库,分表,主从,集群,负载均衡器 本文就是以ORM框架层为基础而实现的分布式数据访问层。本课题的难点在于分库后,路由规则的制定和选择以及后期的扩展性,比如:如何做到用最少的数据迁移量,达到扩充数据库容量(增加机器节点)的目的。核心问题将围绕数据库分库分表的路由规则和负载均衡策略展开。

2009-07-03 数据库水平切分的实现原理解析---分库,分表,主从,集群,负载均衡器

关键字: 水平切分,分库,分表,主从,集群

第1章 引言

随着互联网应用的广泛普及,海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用,每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能,横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库,可以降低单台机器的负载,同时最大限度的降低了了宕机造成的损失。通过负载均衡策略,有效的降低了单台机器的访问负载,降低了宕机的可能性;通过集群方案,解决了数据库宕机带来的单点数据库不能访问的问题;通过读写分离策略更是最大限度了提高了应用中读取(Read)数据的速度和并发量。目前国内的大型互联网应用中,大量的采用了这样的数据切分方案,Taobao,Alibaba,Tencent,它们大都实现了自己的分布式数据访问层(DDAL)。以实现方式和实现的层次来划分,大概分为两个层次(Java应用为例):JDBC层的封装,ORM框架层的实现。就JDBC层的直接封装而言,现在国内发展较好的一个项目是被称作“变形虫”(Amoeba)的项目,由阿里集团的研究院开发,现在仍然处于测试阶段(beta版),其运行效率和生产时效性有待考究。就ORM框架层的实现而言,比如Taobao的基于ibatis和Spring的的分布式数据访问层,已有多年的应用,运行效率和生产实效性得到了开发人员和用户的肯定。本文就是以ORM框架层为基础而实现的分布式数据访问层。本课题的难点在于分库后,路由规则的制定和选择以及后期的扩展性,比如:如何做到用最少的数据迁移量,达到扩充数据库容量(增加机器节点)的目的。核心问题将围绕数据库分库分表的路由规则和负载均衡策略展开。

第2章 基本原理和概念

2.1基本原理:

人类认知问题的过程总是这样的:what(什么)-?why(为什么)-?how(怎么 做),接下来,本文将就这三个问题展开讨论和研究:

2.1.1什么是数据切分

"Shard" 这个词英文的意思是"碎片",而作为数据库相关的技术用语,似乎最早见于大型多人在线角色扮演游戏中。"Sharding" 姑且称之为"分片"。

Sharding 不是一门新技术,而是一个相对简朴的软件理念。众所周知,MySQL 5

第1页

你可能喜欢

  • 数据库原理
  • 架构设计
  • 淘宝平台
  • Oracle优化
  • 技术架构
  • 淘宝技术
  • 大型网站架构

热门文档

相关文档

  • 数据库分库分表(sharding)

    准备阶段 对数据库进行分库分表(Sharding 化)前,需要充分了解系统业务逻辑和 数据库 schema.绘制一张数据库 ER 图,以图为基础划分 shard,直观易行,可 以确保清醒...

  • 数据库_分库分表

    考虑到数据切分的 DB 设计,将违背这个通常的规矩和约束,为了切 分,我们不得不在数据库的表中出现冗余字段,用 作区分字段或者叫做分库的标记字段, 比如上面的 ...

  • 2014年数据库技术大会_drds分库分表介绍

    2014年数据库技术大会_drds分库分表介绍_计算机软件及应用_IT/计算机_专业资料。2014年数据库技术大会,.PPTX资料DRDS分库分表—— RDS关系数据库云服务的水平扩容...

  • 数据库分库测试要点

    数据库分库测试要点_计算机软件及应用_IT/计算机_专业资料。测试说明北京同仁医院数据库分库测试要点 1、 测试环境服务器 192.168.36.109 2、 数据库在线服务器...

  • 经营分析系统数据仓库分库方式研究项目报告

    分库类型为了解决各省的实际问题,很多省都对数据仓库进行了拆分,主要的拆分方式 有如下四种:按照数据的生命周期拆分成生产库和 历史库,比如3+1的数据存放在生产 库...

  • DTCC2014:DRDS分库分表—— RDS关系数据库云服务的水平...

    DRDS分库分表—— RDS关系数据库云服务的水平扩容技术 阿里云RDS产品线- 皓庭 haoting.wq@taobao.com 2014.04.10 主要内容总览 如何使用 如何工作 目前的限制 ...

  • 分库分表

    1 基本思想之什么是分库分表? 从字面上简单理解, 就是把原本存储于一个库的数据分块存储到多个库上, 把原本存储于一 个表的数据分块存储到多个表上。 2 ...

  • 架构中的分库设计

    架构中的分库设计又拍网是一个照片分享社区,从 2005 年 6 月至今积累了 260... 数据库分库技巧 9页 1下载券 又拍网架构中的消息,任务... 37页 免费 ...

  • 数据库pubmed介绍与文献检索技巧

    数据库pubmed介绍与文献检索技巧_自然科学_专业资料。PubMed 是一个免费的搜寻...以下是几条PubMed的记录,标记不同,其出自的分库也不同 其它库 NCBI其它数据库...

  • 一种可以避免数据迁移的分库分表scale

    数据) 或者以时间字段为例,比如一个字段表示记录的创建时间,以此字段的时间段分库 gmt_create_time in range 这样的方式下,在数据量再增加达到前几个库/表的...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email