HiC2011：Hadoop平台在eBay的实践应用

　　【专稿】Hadoop in China社区一年一次的技术年度盛会Hadoop中国云计算大会(Hadoop in China 2011,HiC2011)12.2-12.3日在北京召开，Hadoop in China已经成功举办四届，今年大会的主题是“海量数据掘宝”，HiC2011由中国科学院计算技术研究所主办，通过技术应用和科学研究双重视角审视云计算以及Hadoop开源生态系统的现状和发展趋势，发扬开源精神，促进Hadoop以及云计算开源生态系统在中国的发展壮大。

　　
▲eBay的Hadoop平台工程师Juhan Lee

　　12月3日的HiC2011大会上，来自eBay的Hadoop平台工程师Juhan Lee发表了“Evolution and Revolution of eBay’s Hadoop Stack”的主题演讲。在eBay上存储着上亿种商品的信息，而且每天有数百万种的新商品增加，如今eBay已经成为最大的在线交易平台，因此需要用云系统来存储和处理PB级别的数据，而Hadoop则是个很好的选择。

　　Juhan介绍，随着大数据时代的来临，有效利用海量数据将创造出更多的商业利益，但是对数据的处理正面临挑战，比如缺乏统一标准的运行环境、运行程序需要人工干预，不够自动化、法规遵从以及网路上的要求等。

　　
▲eBay的Hadoop堆栈发展

　　Juhan Lee回顾，2009年eBay建立10-28个节点的集群系统，2010年，eBay建立上百个节点的集群系统，到今年，已经发展至上千个节点，eBay最新的搜素引擎就建立在Hadoop和HBase平台之上。

　　Hadoop平台主要用于下一代的分布式索引、数据信息的快速更新、对网站数据的重新标记和分类;HBase平台在对数据的实时更新方面具有优势，主要应用于对eBay的数据存储，以及对数据标准的快速读写。

　　浏览Hadoop中国云计算大会专题请猛击这里。

　　
▲

（编辑：ASP站长网）