浅谈大规模Hadoop集群自动化部署与运维
|
【现场报道】2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013 Hadoop中国技术峰会（China Hadoop Summit 2013）于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者，以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。
Hadoop中国技术峰会由China Hadoop Summit专家委员会主办，由IT168、ITPUB、ChinaUnix协办，渠达传媒负责承办。本届大会将秉承“效能、应用、创新”为主题，旨在通过开放、广泛的分享和交流，着力于促进中国企业用户提高应用Hadoop的能力和水平，降低Hadoop技术应用门槛和投资预算门槛，推广大数据的应用价值。笔者目前所在的是主题论坛一：架构与实践，下面为大家带来主题演讲的是北京数衡科技技术总监、EasyHadoop软件和PhpHiveAdmin作者及暴风影音开发经理向磊，他演讲的题目是《浅谈大规模Hadoop集群的自动化部署与运维》。以下为向磊的演讲实录。
Hadoop的部署是个麻烦事 Hadoop的落地问题。就像我开篇第一个讲的，大数据很多企业都谈论这个事，真正应用落地的，目前为止，我知道的可能有实际运营能力的，都是集中在互联网企业里。其他的企业如果想用到大数据的技术，其实是比较难的。因为不光是它部署起来很麻烦，还有后期运营的维护的问题。实际上分布式集群最难的地方是在后期的维护上面，去年参加阿里云大赛时候，听淘宝人讲，他们有很大集群的规模，当你的服务器集群数量达到五千台以上时候，每天硬盘的运行率大概是99.6%以上，所以不光是要求对Hadoop了解，同时还要求对网络知识。他们说，Hadoop的运维是非常复杂的事，安装并不是很复杂的事，使用和维护才是真正的难题。所以我们想办法解决自动化运维的事。
Hadoop的整个的生态系统，并不是所见即所得的东西。基本上大多数的软件都是运行在命令行的状态下的。所以对于很多用户来说，他们无法去使用，即使是我们自己内部，互联网公司内部的人来说，让他们在命令行里打东西，比如搞产品，搞运营的人，让他们这样做是不太现实的事，所以这是Hadoop整个生态系统使用上的问题。
已应用的开发，数据应用，数据分析和数据挖掘开发，既要熟悉本公司的业务，同时还要熟悉Hadoop,这是比较复杂的事了。这是Hadoop在真正落地上，我认为几个关键的点。跟一些企业的负责人私下里说的话，企业真正考虑的不是说，可能大型企业考虑更多的不是说这个东西有没有用，而是出了问题以后谁来“背黑锅”。 上一页12下一页查看全文 内容导航
（编辑：ASP站长网） |
居龙：中国大陆首次成