设为首页 - 加入收藏 ASP站长网(Aspzz.Cn)- 科技、建站、经验、云计算、5G、大数据,站长网!
热搜: 数据 手机 公司
当前位置: 首页 > 云计算 > 正文

分析:互联网+时代的云计算与大数据实践(3)

发布时间:2021-08-10 02:33 所属栏目:124 来源:互联网
导读:阿里的大数据,2008年阿里就认为自己是一家数据公司,我们用了很长一段时间Hadoop。自己在飞天的平台、ODPS也非常艰辛的做了五六年,在2014年我们把Hadoop全部换掉了,各方面指标都超越Hadoop了。我们最近的一个成

  阿里的大数据,2008年阿里就认为自己是一家数据公司,我们用了很长一段时间Hadoop。自己在飞天的平台、ODPS也非常艰辛的做了五六年,在2014年我们把Hadoop全部换掉了,各方面指标都超越Hadoop了。我们最近的一个成果,能说明我们平台优越性的就是SortBenchmark.org比赛。这个是每年都会比赛的,我们做100T GraySort,我们是377秒就可以做完。第二名是一千三百多秒。我们基本上是1/3的时间就可以做完。所以说我们的计算性能是非常高的。

 

  我们有离线的计算引擎、大规模学习引擎、图计算引擎、流处理引擎。光数据平台有计算能力还不够,在上面大数据开发平台怎么样,我们有一套开发套件,包括BI的套件,有了这个开发工作的套件大数据之后,在上面我们做数据市场,我们想做数据市场,数据市场是最有挑战的。阿里积累了大量电商相关的数据,我们自认为这也是数据的一个侧面。很多数据我们也并不拥有。我们电商积累的数据跟商家分享,希望A商家可以看到他自己店铺的数据,但他看不到B店铺的数据,B店铺可以看到他自己的数据。我们过去的出发点是希望商家自己拿数据化做运营,我们也提供开放的API,让商家可以把数据拿走,但大部分商家没有自己的研发能力,他找了第三方软件开发商,结果几百家上千家店铺找了同一家软件开发商,结果把数据都给拿走。我们看到,好几百家电商数据都被一个ISV拿走,因为同一个IP地址来取这些数据,接着我们看到ISV发布淘宝天猫相关的数据。当然在国内,大家对数据的产权意识并不浓厚,所以我们发现这个漏洞以后很快堵上了,我们也提供了一个数据开发平台。就是这个原始数据不能拿走,你可以在这个平台上算,但是原始数据拿不走。等于是我们提供了食材、厨房,你可以在里面做大餐,那个项目叫“御膳房”,实际上它已经运行了两年多了,通过这个方式来保证数据的安全。

 

  数据,我们不光是给商家开放。我们对其他客户,非商家以外的客户也开放,我们也做了一些尝试。当然前提是保护用户隐私的情况下了。比如说尼尔森做调查统计的公司,它会把一家,比如说它的客户的报告做调查统计利用我们的数据,他跟我们讲模型、算法是怎么样的,在我们的平台上我们确保模型算法对用户的隐私各方面、数据保护没有影响。那就在我们的平台上面跑。跑过之后,尼尔森就说按他们的行规,这个最终的报告应该归他的客户所有,因为客户掏钱,那我们就说客户掏你多少钱?他给我们讲了一个数字,那我们按多少比例分成啊。我们阿里也是对更多的客户开放数据,同样我们基于这些数据也会有收入。同时用户的隐私都是得到保护的。如果我们能把数据变成一个业务,然后通过平台的方法来进行保护,说不定其他公司也可以,用我们的平台方法来让数据成为赚钱的业务,这样的话有可能形成一个数据的交易市场。这是非常新的概念,我们也是摸着石头过河,也没看到其他地方这样进行。即便在美国,我们也没看到类似的一些东西。

(编辑:ASP站长网)

网友评论
推荐文章
    热点阅读