从MySpace基于.NET平台的六次重构经历,来感受分布式系统。
里程碑三:3百万账户
当用户继续增加到3百万后,垂直分割策略也开始难以为继。尽管站点的各个应用被设计得高度独立,但有些信息必须共享。在这个架构里,每个数据库必须有各自的用户表副本——MySpace授权用户的电子花名册。这就意味着一个用户注册时,该条账户记录必须在9个不同数据库上分别创建。但在个别情况下,如果其中某台数据库服务器临时不可到达,对应事务就会失败,从而造成账户非完全创建,最终导致此用户的该项服务无效。
另外一个问题是,个别应用如博客增长太快,那么专门为它服务的数据库就有巨大压力。 2004年中,MySpace面临Web开发者称之为"向上扩展"对"向外扩展"(译者注:Scale Up和Scale Out,也称硬件扩展和软件扩展)的抉择——要么扩展到更大更强、也更昂贵的服务器上,要么部署大量相对便宜的服务器来分担数据库压力。一般来说,大型站点倾向于向外扩展,因为这将让它们得以保留通过增加服务器以提升系统能力的后路。
但成功地向外扩展架构必须解决复杂的分布式计算问题,大型站点如Google、Yahoo和Amazon.com,都必须自行研发大量相关技术。以Google为例,它构建了自己的分布式文件系统。
另外,向外扩展策略还需要大量重写原来软件,以保证系统能在分布式服务器上运行。"搞不好,开发人员的所有工作都将白费",Benedetto说。
因此,MySpace首先将重点放在了向上扩展上,花费了大约1个半月时间研究升级到32CPU服务器以管理更大数据库的问题。Benedetto说,"那时候,这个方案看似可能解决一切问题。"如稳定性,更棒的是对现有软件几乎没有改动要求。
糟糕的是,高端服务器极其昂贵,是购置同样处理能力和内存速度的多台服务器总和的很多倍。而且,站点架构师预测,从长期来看,即便是巨型数据库,最后也会不堪重负,Benedetto说,"换句话讲,只要增长趋势存在,我们最后无论如何都要走上向外扩展的道路。" 因此,MySpace最终将目光移到分布式计算架构——它在物理上分布的众多服务器,整体必须逻辑上等同于单台机器。拿数据库来说,就不能再像过去那样将应用拆分,再以不同数据库分别支持,而必须将整个站点看作一个应用。现在,数据库模型里只有一个用户表,支持博客、个人资料和其他核心功能的数据都存储在相同数据库。
既然所有的核心数据逻辑上都组织到一个数据库,那么MySpace必须找到新的办法以分担负荷——显然,运行在普通硬件上的单个数据库服务器是无能为力的。这次,不再按站点功能和应用分割数据库,MySpace开始将它的用户按每百万一组分割,然后将各组的全部数据分别存入独立的SQL Server实例。目前,MySpace的每台数据库服务器实际运行两个SQL Server实例,也就是说每台服务器服务大约2百万用户。Benedetto指出,以后还可以按照这种模式以更小粒度划分架构,从而优化负荷分担。
当然,还是有一个特殊数据库保存了所有账户的名称和密码。用户登录后,保存了他们其他数据的数据库再接管服务。特殊数据库的用户表虽然庞大,但它只负责用户登录,功能单一,所以负荷还是比较容易控制的。
里程碑四:9百万到1千7百万账户
2005年早期,账户达到9百万后,MySpace开始用Microsoft的C#编写ASP.NET程序。C#是C语言的最新派生语言,吸收了C++和Java的优点,依托于Microsoft .NET框架(Microsoft为软件组件化和分布式计算而设计的模型架构)。ASP.NET则由编写Web站点脚本的ASP技术演化而来,是Microsoft目前主推的Web站点编程环境。
系统架构到目前为止保持了相对稳定,但 MySpace 仍然...化和分布式计算而设计的 模型架构) ASP.NET 则由...性能上升的另一个原因可能是在变换软件平台,并用新...
系统架构到目前为止保持了相对稳定,但 MySpace 仍然...化和分布式计算而设计的 模型架构) ASP.NET 则由...性能上升的另一个原因可能是在变换软件平台,并用新...
从myspace数据库看分布式系统数据结构变迁_IT/计算机...可以说是立竿见影, MySpace 马上就发现 ASP.NET ...性能上升的另一个原因 可能是在变换软件平台,并用新...
OK 工具、自我 广告平台、简历编辑工具、安全系统、隐私过滤器、Myspace 书单等等...我们很快就把网站建起来,我们打败了 Friendster,打败 了 Tribe.net,打败了所有...
MySpace 的六次重构经历,来认识分布式系统到底该如何...(平台、内容源、用户、传播方式等)转化到以用户为...ASP.NET 则由编写 Web 站点脚本的 ASP 技术演化...
MySpace图文教程 14页 免费 MySpace的六次重构 4...阶为音乐人系统,如此谨慎的手法反映出 MySpace 聚友...如此看来, MySpace 聚友网转型为音乐平台至少为国内...
OK 机、自助广告平台、主页编辑工具、安全系统、隐私过滤器、MySpace 书 单等等...“但它非常易用, 我们得以很快推出 MySpace,击败了 Friendster、Tribe.net 等...
MySpace 的六次重构经历,来认识分布式系统到底该如何...(平台、内容源、用户、传播方式等)转化到以用户为 ...ASP.NET 则由编写 Web 站点脚本的 ASP 技术演化...
硬件性能以及系统的可扩展性,将成为影响网站性能和...( http://turck-mmcache.sourceforge.net)、php ...Myspace的六次重构 最后不得不提到程序编码和数据库...
MySpace 的六次重构经历,来认识分布式系统到底该如何...(平台、内容源、 用户、传播方式等)转化到以用户 ...ASP.NET 则由编写 Web 站点脚本的 ASP 技术演化...
热门文档