看运维如何拯救一个百亿互金平台(4)

古代对将军的要求是,心有万马奔腾,面如湖水平静,在互联网行业,对领导的要求也如此,特别是技术负责人,在面对生产事故的时候,一定是先安抚同事,静下心来找到问题本质,再去解决,而不应该不断去施加压力催促,重压之下很多心里承受能力稍弱的队友,会更加慌乱,不但不利于解决问题,还可能引发二次事故.

在看淘宝双十一视频中,有一段感受特别深,在双十一初期,虽然技术团队做了很多的准备,但是在零点过后流量瞬间涌入,服务被打垮,部分用户投诉刷新不出网页,紧接着隔壁同事也都反馈网站打不开,在大家都在慌乱中,XX一拍桌子大喊一声,大家都别动,三分钟之后再说,过了几分钟之后服务慢慢恢复了正常.

后来回忆说,当时虽然服务瘫痪,但是监控到有部分业务成功,说明系统并没有被压垮,而此时的任何操作都有可能引发更大的问题,从此之后此人一战成名,成为阿里大将.

互联网平台发展大抵都会经历三个阶段：

1. 上线初期,此阶段问题最为繁多,生产事故不断,系统快速迭代优化.有人说为什么不测试到完全没有问题再投产?说实话在互联网行业这个很难：

   第一,小公司很难做到生产环境和测试环境一致,成本太高；

   第二,时间紧迫,一般都是很短的时间内要求上线,上线之后再快速迭代；

   第三,互联网本就是一个快速试错的行业,错过半年时间可能风口早过；

2. 发展期,此阶段主要业务模式已经得到验证,系统出现问题的频度较少,低级错误减少,但此时是用户量和交易量不断爆发的时候,对系统性能、高并发的要求又上来了,所以此时出现的问题大多都是性能的问题；
3. 成熟期,发展期过后系统相对比较平稳,用户量和交易量都已经慢慢稳定下来,生产问题越来越少,出现问题几乎都是细小的 bug.这个阶段也是公司最忽略技术的阶段,现在我们公司发展到了这个阶段,在这个阶段需要静下心来,做组织架构升级,补齐在初期和发展期所欠下的技术债务,做好公司进入下一个量级的技术储备.

所有的这些问题几乎都集中在14年底到15年初的这个阶段,15年后半年开始到现在,平台慢慢稳定了下来,到现在几乎没有再出现过类似的问题,也因为几乎都是两年前的事情,有很多记的不是特别清楚了,写的比较粗糙望见谅.

本文转载于：http://www.ityouknow.com/
作者：纯洁的微笑

（编辑：ASP站长网）