大数据存储能否顺应时代的发展趋势(3)
欧洲核子研究中心(CERN)创建的OpenLAB旨在通过部署全球领先的IT系统和解决方案,将全球大型强子对撞机(LHC)行业的资源、研究成果汇集在一起。持续快速增长的海量科研数据对CERN的存储系统在可扩展性、可靠性等方面提出了严峻挑战,这也促使CERN开始评估新的存储技术。最终,CERN选择了华为UDS云存储系统,并在三个月内完成了安装调测和基准性能的评估。测试结果显示,UDS创新的软硬件和系统非常适合海量数据存储的业务要求,这让CERN可以在未来轻松应对EB级数据量的挑战。
谈到华为大数据存储解决方案的特色,经宁概括说:“我们能更好地把握大数据的本质需求,并依靠自主研发能力,在IT架构上实现创新,将计算与存储进行有机结合。我们还基于自己的大数据存储平台,提供了多种类型的接口,便于与应用衔接。”从产品研发的角度看,华为将重点放在了软件方面,硬件则采用了开放的标准化的存储服务器架构。在2013年华为云计算大会上,华为与中央电视台正式签署合作协议,在大数据存储领域建立战略合作关系,为媒资行业提供领先的技术和应用模式。双方计划联合开发自适应、深度节能的高密度、大容量的媒资存储系统。
面对大数据的需求,存储永远不变的是对数据可靠性、性能、可扩展性和效率的追求,而有可能发生改变的是为了提高效率、节省消耗,存储可以变得更加灵活,也可以考虑与计算进行融合等。不管存储如何变化,用户对高性价比的需求始终不变。
数据收集和存储是大数据分析的第一个环节。在大数据时代,应用数量、数据量和使用者数量的增长,对存储IOPS以及OLTP和OLAP的要求越来越高,具体表现在现有的存储已不能满足业务关键型应用的需求。中桥调研咨询针对中国用户的调研数据显示,FC SAN仍是企业级用户(42.1%)和中型企业(34.0%)的首选,远高于其他存储类型的占比。这是因为FC SAN对OLTP和OLAP的性能稳定性优于其他存储技术。这一调查结果也显示,目前中国用户大多处于大数据分析的第一阶段,其工作以存储和IT架构的整合和优化为主。王丛分析说,随着Hadoop和MapReduce的不断普及,中国用户将逐步进入近实时和实时分析阶段,节点式存储的占比会随之增加。
打通行业价值链
华为的金字塔型“4V”理论具体来说,第一步,要建立一个高效的存储架构平台,它既能处理大量的小文件,也能处理单体较大的文件。第二步,这个存储平台要具备极高的处理性能。第三步,这个存储平台要能处理多样化的数据,包括结构化和非结构化数据。只有通过前面三步打下的基础,企业用户才能进入最后一步,在一个高效的专门为大数据构建和优化的平台上进行数据分析和挖掘,并最终获得所需的价值。
经宁表示:“如果仔细甄别,大数据与海量数据还是有差别的,毕竟大数据不仅仅是指数据量大,还包括处理、分析和挖掘等过程。从表面上看,大数据的‘4V’特征是并列的关系,但实际上这些因素之间还是有层次性的。我们提出的大数据金字塔模型,可以更好展现大数据价值的实现过程。”
华为倡导构建高效的大数据存储平台,而其中的高效又是如何来衡量的呢?高效的第一个衡量指标就是性能。性能是大数据存储平台的基石之一,没有性能的保证,大数据系统无异于空中楼阁。其次,大数据强调的是简化使用,提高效率。最后,高效的大数据存储平台应该采用融合的技术架构。以华为OceanStor 9000大数据存储系统为例,它采用华为首创的全融合创新架构,可以实现存储、分析和归档的融合,同时具有很强的横向扩展能力,最大可扩展至288节点,单一文件系统可支持40PB容量。分析功能是指OceanStor 9000中内置了分布式数据库,能完成数据的快速检索和查询,以支持上层应用。
华为一直坚持“被集成”的策略,这在大数据领域同样适用。华为的大数据存储平台可以提供开放的接口,方便与BI软件和应用软件连接,进一步提高查询效率。在 OceanStor 9000这样的融合平台之上,用户还可以根据业务的情况灵活添加相关的功能模块。“在大数据方面,我们主要从垂直行业切入,与行业ISV紧密合作,为金融、电信运营商、媒体、智慧城市、石油勘探等领域的用户提供端到端的大数据存储解决方案。”经宁说,“虽然我们已在大数据存储市场上取得了丰硕的成果,但是我们更看好大数据存储市场未来的潜力,因为其增长速度远高于传统存储市场。”
更好的兼容 更经济的交付
中桥调研咨询的调查结果显示,未来24个月内,64.8%的用户将部署新存储来满足大数据时代业务关键型应用对存储性能越来越高的需求。王丛表示:“针对大数据应用,存储可以选择的余地较大,基于一些开源架构的基础平台也能满足大数据的需求。未来,大数据主要处理的是非结构化数据,如何将数据快速转变为价值是关键。大数据不是一个产品,而是解决方案,只有将解决方案与应用相结合才可能更好地挖掘数据的商业价值。”
综合多位分析师的观点,在大数据存储领域,国外厂商仍处于领跑地位,国内厂商如华为也在大数据存储领域保持了高速增长。各厂商在大数据存储方面各具所长,谁能建立更好的客户关系和生态系统,使大数据存储解决方案与企业现有的技术架构兼容,并能实现更经济的交付,谁就能在大数据存储市场上脱颖而出。 (编辑:ASP站长网) |