 |
在本篇论文中,我所设计的综合调度优化策略对Hadoop集群的作业调度和任务调度进行优化。一、综合调度优化策略在Hadoop集群作业调度中引入混合调度方法。该方法根据传入作业和可用资源的数量等信息,动态地选择FIFO算法,Fair Sharing算法,COSHC算法中最合适的调度算法。二、综合调度优化策略在Hadoop集群任务调度中采用ATSDA调度算法。ATSDA算法为基于动态负载调整的自适应任务调度算法。在ATSDA算法中,Task Trackers能够适应运行时的负载变化和自己计算能力的要求获得任务,实现自律的同时避开了Job Tracker系统性能瓶颈的主要原因:算法的复杂度。ATSDA是一种高效、可靠的算法,它可以提高异构Hadoop集群的稳定性,可扩展性,效率,和负载平衡性。此外,它在任务的执行时间,资源利用率,加速比等方面的性能优于原来和其他改进的Hadoop任务调度算法。
分享到：
0 个人觉得赞好文章 点个赞您已经赞过了+1
【免责声明】本文仅代表作者个人观点，与165平板网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。您若对该稿件内容有任何疑问或质疑，请联系本网将迅速给您回应并做处理。