单个多核节点上的MapReduce性能优化

　　【专稿】Hadoop in China社区一年一次的技术年度盛会Hadoop中国云计算大会(Hadoop in China 2011,HiC2011)12.2-12.3日在北京召开，Hadoop in China已经成功举办四届，今年大会的主题是“海量数据掘宝”，HiC2011由中国科学院计算技术研究所主办，通过技术应用和科学研究双重视角审视云计算以及Hadoop开源生态系统的现状和发展趋势，发扬开源精神，促进Hadoop以及云计算开源生态系统在中国的发展壮大。

▲复旦大学并行处理研究所讲师陈海波

　　在12月2日的“云计算研究”分会场上，复旦大学的并行处理研究所讲师陈海波发表了“在多核上优化MapReduce的性能和扩展性”的演讲。

　　通常程序员在开发程序时往往要考虑：功能、数据分发、负载均衡等等因素，但是MapReduce为并行运算提供了一个通用的编程框架，让程序员不用去过多得去关注底层，而直接开发上层的应用。

▲MapReduce应用于大型集群

　　MapReduce主要应用于大型集群管理，并支持跨地域节点的管理，但是在对单个多核节点的应用上并不完全适用，主要体现在缓存、内存和操作系统几个方面。对次，陈海波介绍了对MapReduce应用在单个多核节点上的优化方法：

　　1.内存复用

　　在整个生命周期中都将数据保存在内存中。

▲

　　2.区域优化

▲

　　3.CPU优化

▲

　　浏览Hadoop中国云计算大会专题请猛击这里。

▲

（编辑：ASP站长网）