设为首页 - 加入收藏 ASP站长网(Aspzz.Cn)- 科技、建站、经验、云计算、5G、大数据,站长网!
热搜: 手机 数据 公司
当前位置: 首页 > 服务器 > 安全 > 正文

腾讯周小军:十个人管理1万多台 NoSQL 存储服务器的秘密(2)

发布时间:2021-01-06 23:23 所属栏目:53 来源:网络整理
导读:上万台存储集群的成本优化是运营中比较核心的目标之一,我们在成本上的措施主要为: 用访问密度做为可度量的成本指标,按每单位GB的访问量来衡量业务接入的合理性. 数据密度,由于数据块是由固定长度的Block组成的.用

上万台存储集群的成本优化是运营中比较核心的目标之一,我们在成本上的措施主要为:

  1. 用访问密度做为可度量的成本指标,按每单位GB的访问量来衡量业务接入的合理性.
  2. 数据密度,由于数据块是由固定长度的Block组成的.用户记录的不定长会造成存储块碎片严重.所以我们通过定期的碎片整理来实现存储块的高效使用,碎片少,提升有效存储空间.
  3. 分层存储,热KEY保存在内存,冷KEY下沉到SSD硬盘.按通常的八二冷热数据比例,我们可以节省大量的内存服务器.
  4. 备机复用,为保证数据的强一致性,我们的存储主机提供读写服务,备机只提供数据流水落地,不提供服务.因此我们在备机上部署容器,满足公司离线计算或长尾业务对计算资源的需求.

运营团队的工作本质

研发和DBA的关系就如同一辆车,我们造好一辆车,写好说明手册,而DBA则负责调教和维护这辆车,让它能发挥最高的性能,坐得最舒服

—MySQL研发团队成员赖铮

的确,我们运营团队也是类似,与研发团队一起把原始的数据库引擎打磨得更易于运维、性能更高及对业务更多的特性支持,发挥工匠精神,不断在成本、安全、质量和效率上追求极致.

除了研发团队,运维团队本身也是开发&运维相结合的团队,团队内有开发和运维二种角色:

开发工程师:负责持续集成环境、流程引擎、接口、代码审核等工作.
运维工程师:负责上到产品经理,下到任务粒度级的开发等职责.

运维强大的工具平台具备了功能丰富的API接口,譬如身份验证、流程引擎、CMDB接口、监控接口、日志上报、包安装接口等功能,极大地提高了运维工程师工具开发效率.

(编辑:ASP站长网)

网友评论
推荐文章
    热点阅读