数据库水平切分的实现原理解析---分库,分表,主从,集群,负载均衡器 本文就是以ORM框架层为基础而实现的分布式数据访问层。本课题的难点在于分库后,路由规则的制定和选择以及后期的扩展性,比如:如何做到用最少的数据迁移量,达到扩充数据库容量(增加机器节点)的目的。核心问题将围绕数据库分库分表的路由规则和负载均衡策略展开。
2009-07-03 数据库水平切分的实现原理解析---分库,分表,主从,集群,负载均衡器
关键字: 水平切分,分库,分表,主从,集群
第1章 引言
随着互联网应用的广泛普及,海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用,每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能,横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库,可以降低单台机器的负载,同时最大限度的降低了了宕机造成的损失。通过负载均衡策略,有效的降低了单台机器的访问负载,降低了宕机的可能性;通过集群方案,解决了数据库宕机带来的单点数据库不能访问的问题;通过读写分离策略更是最大限度了提高了应用中读取(Read)数据的速度和并发量。目前国内的大型互联网应用中,大量的采用了这样的数据切分方案,Taobao,Alibaba,Tencent,它们大都实现了自己的分布式数据访问层(DDAL)。以实现方式和实现的层次来划分,大概分为两个层次(Java应用为例):JDBC层的封装,ORM框架层的实现。就JDBC层的直接封装而言,现在国内发展较好的一个项目是被称作“变形虫”(Amoeba)的项目,由阿里集团的研究院开发,现在仍然处于测试阶段(beta版),其运行效率和生产时效性有待考究。就ORM框架层的实现而言,比如Taobao的基于ibatis和Spring的的分布式数据访问层,已有多年的应用,运行效率和生产实效性得到了开发人员和用户的肯定。本文就是以ORM框架层为基础而实现的分布式数据访问层。本课题的难点在于分库后,路由规则的制定和选择以及后期的扩展性,比如:如何做到用最少的数据迁移量,达到扩充数据库容量(增加机器节点)的目的。核心问题将围绕数据库分库分表的路由规则和负载均衡策略展开。
第2章 基本原理和概念
2.1基本原理:
人类认知问题的过程总是这样的:what(什么)-?why(为什么)-?how(怎么 做),接下来,本文将就这三个问题展开讨论和研究:
2.1.1什么是数据切分
"Shard" 这个词英文的意思是"碎片",而作为数据库相关的技术用语,似乎最早见于大型多人在线角色扮演游戏中。"Sharding" 姑且称之为"分片"。
Sharding 不是一门新技术,而是一个相对简朴的软件理念。众所周知,MySQL 5
准备阶段 对数据库进行分库分表(Sharding 化)前,需要充分了解系统业务逻辑和 数据库 schema.绘制一张数据库 ER 图,以图为基础划分 shard,直观易行,可 以确保清醒...
考虑到数据切分的 DB 设计,将违背这个通常的规矩和约束,为了切 分,我们不得不在数据库的表中出现冗余字段,用 作区分字段或者叫做分库的标记字段, 比如上面的 ...
2014年数据库技术大会_drds分库分表介绍_计算机软件及应用_IT/计算机_专业资料。2014年数据库技术大会,.PPTX资料DRDS分库分表—— RDS关系数据库云服务的水平扩容...
数据库分库测试要点_计算机软件及应用_IT/计算机_专业资料。测试说明北京同仁医院数据库分库测试要点 1、 测试环境服务器 192.168.36.109 2、 数据库在线服务器...
分库类型为了解决各省的实际问题,很多省都对数据仓库进行了拆分,主要的拆分方式 有如下四种:按照数据的生命周期拆分成生产库和 历史库,比如3+1的数据存放在生产 库...
DRDS分库分表—— RDS关系数据库云服务的水平扩容技术 阿里云RDS产品线- 皓庭 haoting.wq@taobao.com 2014.04.10 主要内容总览 如何使用 如何工作 目前的限制 ...
1 基本思想之什么是分库分表? 从字面上简单理解, 就是把原本存储于一个库的数据分块存储到多个库上, 把原本存储于一 个表的数据分块存储到多个表上。 2 ...
架构中的分库设计又拍网是一个照片分享社区,从 2005 年 6 月至今积累了 260... 数据库分库技巧 9页 1下载券 又拍网架构中的消息,任务... 37页 免费 ...
数据库pubmed介绍与文献检索技巧_自然科学_专业资料。PubMed 是一个免费的搜寻...以下是几条PubMed的记录,标记不同,其出自的分库也不同 其它库 NCBI其它数据库...
数据) 或者以时间字段为例,比如一个字段表示记录的创建时间,以此字段的时间段分库 gmt_create_time in range 这样的方式下,在数据量再增加达到前几个库/表的...
热门文档