腾讯1300场NBA直播背后的技术力量(5)

这是我们的大数据处理流程,其实是一个比较经典的大数据处理流程,是从各个终端,包括苹果、安卓、TV、PAD、PC web 这些,把数据上报以后,通过日志式的采集系统接收,经过简单的清洗和Kafka传递到Spark集群,计算维度,统计完了以后生成我们的数据产品.

鹰眼日志就是基于ES来进行开发的,这里就是把大数据的经验分享一下,主要是运用实时运算,来实现播放流程的监控和 CDN 测速监控,这套架构基本上满足天2千亿条和100T以上的数据,维度是非常多的,差不多一条日志一百多的复杂的数据.

一旦有了监控的数据,能够快速得到的时候,你就真的能够先人一步去发现问题,什么样的问题也能够快速获取.这里的技术其实涵盖很多方面,虽然说起来很简单,但是涵盖了海量运营的技术基础,涵盖流媒体的基础,涵盖大数据技术.

怎么把数据拿出来,实时分析出来,还涵盖了 CDN 的网络传输技术,怎么保证网络数量,怎么在 CDN 的过程中快速加速,还有怎么把原来 DNS 的方式变成IP直联的方式,其实是包含很多方式的,这可能不是一下子能够说得很清楚,相当于是抛砖引玉.

8、总结

海量的运营技术是很大的体系,希望大家遇到这种情况的时候,能够勇敢站出来,面临挑战,只要我们有一个追求卓越的心不断尝试,大部分人都是能做到更好的,这就是我的一点心得

文章来自微信公众号：高效运维

（编辑：ASP站长网）