Hadoop之上 中国移动“大云”系统解析

　　【专稿】Hadoop in China社区一年一次的技术年度盛会Hadoop中国云计算大会(Hadoop in China 2011,HiC2011)12.2-12.3日在北京召开，Hadoop in China已经成功举办四届，今年大会的主题是“海量数据掘宝”，HiC2011由中国科学院计算技术研究所主办，通过技术应用和科学研究双重视角审视云计算以及Hadoop开源生态系统的现状和发展趋势，发扬开源精神，促进Hadoop以及云计算开源生态系统在中国的发展壮大。

▲中国移动研究院业务支撑所所长孙少陵

　　在12月3日的HiC2011大会上，中国移动研究院业务支撑所所长孙少陵发表了“电信运营商大数据处理应用研究和实践”的主题演讲。

　　孙少陵引用了维基百科对大数据的定义，即无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。同时他介绍了大数据呈现出三大特征，即3V：数据大(Volume)，例如Facebook每天在30万台服务器上处理25Tb数据;时效性要求高(Velocity)，例如搜索引擎要求在几分钟内为用户查询新闻;种类和来源多样化(Variety)，除了结构化的数据、半架构化、非结构化的数据大量产生，有的数据来自关系型数据库，有的数据来自数据仓库，而有的数据来自互联网网页等。目前对大数据的处理主要应用于分析型的应用场景，如搜索引擎网页处理、用户行为分析、商业智能(BI)等。

　　根据IDC的报告，未来10年全球数据量将以40%的速度增长，2020年全球数据量将达到35ZB，是2009年的44倍。随着移动终端的快速发展，手机每天产生的信息量已经大大增加，与此同时，和很多企业一样，中国移动也越来越需要长期保存各类数据，来对用户行为进行分析、做市场研究。但由于存储容量的限制，中国移动对数据存储的周期正在逐年缩短。截止2010年，中国移动业务支撑系统存储容量约3万TB，网管系统约3000TB。

　　在2007年，中国移动开始了对“大云”的研究，目前已经推出了“大云”1.5版本，孙少陵介绍，“大云”1.5产品中的分析型PaaS产品就基于Hadoop平台。

▲中国移动“大云”1.5产品总体架构

　　在中国移动“大云”1.5产品总体架构中，分析型PaaS产品底层基于Hadoop数据存储和分析平台，在此数据基础之上建立数据仓库系统，整合并行数据挖掘工具、数据抽取转换以及搜索引擎，来提供商务智能平台，该商务智能平台既可以用于移动自身对用户数据的挖掘和处理，也可以作为IDC服务供应。

　　根据孙少陵分享的测试数据来来看，基于Hadoop的数据抽取转换具有明显的低成本高性能特征，硬件成本仅为1/5，而性能却提升了3倍以上，这也更加坚定了孙少陵对Hadoop平台发展前景的信心。同时他还透露中国移动希望建立Hadoop中国的分支，并计划在2012年启动。

　　浏览Hadoop中国云计算大会专题请猛击这里。

▲

（编辑：ASP站长网）