大家看了就知道了 什么都不说了哈
的首要原因,我们要把这个问题解决掉。其次我们的用户越来越多,这个数据库表从一百万到一亿,数据规模不一样处理方式是有差别的。我们第一版单库单表的模式,当用户数量增多的时候,它不能满足就需要进行拆分。第二个是锁表的问题,我们考虑的是更改引擎。另外一个是发表过慢,我们考虑的是异步模式。
第二版我们进行了模块化,我们首先做了一个层,做了拆分,最右边的发表做了异步模式。第二个服务层,我们把微博基础的单元设计成服务层一个一个模块,最大是对推模式进行了改进。首先看一下投递模式的优化,首先我们要思考推模式,如果我们做一下改进把用户分成有效和无效的用户。我们一个用户比如说有一百个粉丝,我发一条微博的时候不需要推给一百个粉丝,因为可能有50个粉丝不会马上来看,这样同步推送给他们,相当于做无用功。我们把用户分成有效和无效之后,我们把他们做一下区分,比如说当天登陆过的人我们分成有效用户的话,只需要发送给当天登陆过的粉丝,这样压力马上就减轻了,另外投递的延迟也减小了。
我们再看数据的拆分,数据拆分有很多方式,很多互联网产品最常用的方法,比如说如可以按照用户的UID来拆分。但是微博用户的一个特点就是说大家访问的都是最近的服务器,所以我们考虑微博的数据我们按照时间拆分,比如说一个月发一张表,这样就解决了我们不同时间的惟度可以有不同的拆分方式。第二个考虑就是要把内容和索引分开存放。假如说一条微博发表的地址是索引数据,内容是内容数据。假如说我们分开的话,内容就简单的变成了一种key-value的方式,key-value是最容易扩展的一种数据。比如说一个用户发表了一千条微博,这一千条微博我们接口前端要分页放,比如说用户需要访问第五页,那我们需要迅速定位到这个记录。假如说我们把这个索引拆分成一个月一张表,我们记录上很难判断第五页在哪张表里,我们需要索引所有的表。如果这个地方不能拆分,那我们系统上就会有一个非常大的瓶颈。最后我们想了一个方法,就是说索引上做了一个二次索引,改变我们还是按照时间拆分,但是我们把每个月记录的偏移记下来,就是一个月这个用户发表了多少条,ID是哪里,就是按照这些数据迅速把记录找出来。
异步处理,发表是一个非常繁重的操作,它要入库、统计索引、进入后台,如果我们要把所有的索引都做完用户需要前端等待很长的时间,如果有一个环节失败的话,用户得到的提示是发表失败,但是入库已经成功。所以我们做了一个异步操作,就是发表成功我们
新浪微博架构分析 暂无评价 6页 1财富值 专访新浪微博技术经理杨卫... 4页 免费 微博技术 2页 2财富值 浅谈微博技术对群体性事件... 暂无评价 4页 1...
互联网公司技术架构资料.新浪微博.微博架构与平台安全_信息与通信_工程科技_... 应届生求职季宝典 英文个人简历模板 创意简历模板汇集 推理型题分析与总结...
微博用户的群体结构分析_以新浪微博_ELLE_官方微博为例_高磊_文学研究_人文... 互联网公司技术架构资料... 51页 免费 新浪微博集团类官方微博... 12页 ...
构建可扩展微博架构,演讲者:Tim Yang,新浪微博技术架构师_IT/计算机_专业资料... 推荐- 微博经济 - 新浪... 23页 免费 新浪微博营销案例分析20... 28页...
互联网公司技术架构资料.新浪微博.构建高性能的微博系统_信息与通信_工程科技... 最新大型网站技术架构探... 33页 1下载券 大型WEB网站架构深入分析... 12...
“媒介技术与社会发展研究” 09TDCX08) ( 深圳大学团队创新项目 第1 期 “李刚门” 孙海峰等: 对 事件新浪微博报道与评论的框架分析 21 件居新浪微博热门 ...
互联网公司技术架构资料.新浪微博.构建可扩展微博架构_信息与通信_工程科技_... 新浪微博技术架构 3页 免费 新浪微博技术架构分析 7页 免费 互联网架构优化...
新浪微博从 0 ~ 50,000,000 用户 ? 技术架构经历了 3 个阶段 第1版 ... 2014教师资格材料分析辅... 2014小学教师资格考试《... 2014年幼儿园教师资格...
4A广告提案论坛出品-2009年精彩创意平面广告分析-102p 10、4A广告提案论坛出品-...新浪微博从 0 ~ 50,000,000 用户 ? 技术架构经历了 3 个阶段 第1版 ...
新媒体研究 高一然: 电视媒体官方微博的框架比较分析 电视媒体官方微博的框架比较分析——以新浪微博影响力榜排名前三的卫视微博为例 —■ 高一然 【内容摘要】...
热门文档