当前位置： 文档下载 > 所有分类 > 人文社科 > 法律资料 > 作业调度器综述及问题2分布式系统Hadoop作业调度器及其问题的讨论
Hadoop是Apache基金会下的一个分布式系统基础架构，它最核心的两个部分：分布式文件系统HDFS，存储Hadoop集群中所有存储节点上的文件；由NameNode和DataNode组成；分布式计算引擎MapReduce，由JobTracker和TaskTracker组成。
Hadoop使得用户可以在不了解分布式系统底层细节的情况下，轻松地根据自己的业务需求，开发出分布式应用程序。在Hadoop的实际应用中，往往存在多种应用共用Hadoop的情况，例如：
生产性应用：数据分析、统计计算等；
批处理应用：机器学习等；
交互式应用：SQL查询等。
因此，在Hadoop集群中，可能同时运行多道作业，不同类型的作业，作业之间可能还存在依赖关系，那么，这种情况下该如何保证整个集群计算资源得到充分的利用呢？这就要求有一个作业调度器，来保证在整个集群内有效地进行作业的调度与执行过程。
Hadoop作业调度器的设计采用的是插件机制，即作业调度器是动态加载的、可插拔的，同时第三方可以开发自己的作业调度器替代Hadoop默认的调度器。目前，Hadoop的作业调度器主要有以下三个：
FIFO Scheduler：采用一个FIFO队列进行调度，在其基础上Hadoop还提供一个
扩展的调度器，可以对每个job的tasks总数作限制；优点是实现非常简单、调度过程快；缺点是资源的利用率不高。
Capacity Scheduler：采用多个队列，每个队列分配一定的系统容量，空闲资源可
以动态分配给负荷重的队列，支持作业优先级；优点是支持多作业并行执行，提高资源利用率，动态调整资源分配，提高作业执行效率；缺点是用户需要了解大量系统信息，才能设置和选择队列。
作业车间调度问题综述_教育学/心理学_人文社科_专业资料。科技广场 2007.6 作业...作业调度器综述及问题2 3页 免费 基于改进蚁群算法的作业... 6页 免费 基于...
( 2003) 0120049207 车间作业调度 (J SSP ) 技术问题简明综述王书锋1 , 邹益仁2 ( 1. 北方交通大学机电学院, 北京 100044; 2. 中国科学院自动化研究所, ...
作业调度问题的优化算法 西北第二民族学院 计算机科学与技术系王伦津 流水作业...实验二:作业调度 6页 免费 作业调度器综述及问题2 3页 免费喜欢...
车间作业调度(JSSP)技术问题简明综述_专业资料。车间调度车间作业调度(JSSP)技术问题...J 2 J ≤ 3 C max 和J 3 J ≤ 2 C max 三种情况都是NP难问题.Bala...
2.00元 作业车间调度问题综述 5页 1财富值 不确定条件下的作业车间生... 6...嵌入播放器: 普通尺寸(450*500pix) 较大尺寸(630*500pix) 预览复制 收藏此文档...
资源受限项目调度问题综述摘要针对资源受限项目调度问题,总结国内外项目调度的发展...2.2.2 资源受限项目调度问题求解方法研究资源受限的工程调度问题在现代企业中...
1/2 相关文档推荐 综述作业 4页 5财富值 综述...请到百度文库投诉中心;如要提出功能问题或意见建议,...嵌入播放器: 普通尺寸(450*500pix) 较大尺寸(630*...
第二讲 计算问题2作业参考答案_学科竞赛_小学教育_教育专区。第二讲 计算问题 2 作业参考答案 1、 10002014 ? 1000 ?1000 L ?1000 L4 0 L4 0 144444444 ...
第六讲 计数问题2作业参考答案_学科竞赛_小学教育_教育专区。第六讲 计数问题 2 作业参考答案 1、设 1 元的有 a 张,2 元的有 b 张,5 元的有 c 张,则...
撰写综述应注意的问题一、总体要求: 总体要求: 1. 2. 3. 要求引用的文献总...有认真修改就将作业交上来的,将直接影响到成绩,甚至有可能被记为不及格!请一 ...
热门文档