运维改革探索(二)：构建可视化分布式运维手段(2)

随着云化后机器数十倍的增长,传统“烟囱式”系统应用部署模式耗时耗力,并且手动发布出错的机率也非常大,我们尝试引入互联网自动配置部署工具SaltStack,并考虑到SaltStack无WEB配置界面的缺点,在其外面定制开发了一层WEB可视化界面,从而实现了云化系统下自动化可视化部署.

1)自动化配置管理平台SaltStack整体架构

SaltStack是一个服务器基础架构集中化配置管理平台,具备配置管理、远程执行、监控等功能,易于安装使用,便于扩展,可支撑管理上万台服务器或者虚拟机.依托云计算平台资源池实施部署了SaltStack管理平台.截至目前,SaltStack管理共计47套Linux系统,涵盖测试域36套系统以及生产域11套系统,并且还在不断的扩展.基于C/S架构,划分为主控端和被控端,分别称为Master和Minion.两者基于证书认证,安全可靠,其整体架构如下：

2)SaltStack安装配置

SaltStack可采用多种方式安装,通过源码安装,将SaltStackMaster部署在RHEL6.5主机,启动Master进程,并在全部受控机安装SaltStack,启动Minion进程.

Master和Minion在通信时需要进行认证,因此需在/etc/salt/master中配置Master节点的IP地址,在/etc/salt/minion中指明Master端的地址以及本机的唯一标示.这样在Master端认证和统一配置时可以通过唯一标示进行.配置文件使用YAML$key:$value格式.

3)SaltStack应用

在我们的业务系统中,主要按照操作系统以及应用进行分组,具体分组方式如下：

cat/etc/salt/master.d/nodegroup.conf

nodegroups:

redhatDatabase:‘redhat-db’

redhatAPP:‘redhat-app’

suseAPP:‘suse-app’

suseDatabase:‘suse-db’

受控机器的信息展现是通过grain组件进行展现的,基本使用方法如下：

salt’redhat-db1’grains.ls查看grains分类

salt’redhat-db1’grains.items查看grains所有信息

salt’redhat-db1’grains.itemosrelease查看grains某个信息

4)可视化界面发布

通过在SaltStack外部,定制开发WEB界面,使得整个发布部署过程和发布结果全部可视化,具体的应用步骤如下图所示：

目前在多台服务器上实现了并行批量执行命令,根据不同业务特性进行配置集中化管理、分发文件、采集服务器数据、操作系统基础及软件包管理等.

4、自动化数据管理

云架构下的IT系统越来越多,数据库管理员需要面对成百上千的数据库,另外随着云架构下的大数据平台等技术的不断深入,数据存储将迈入EB级别,传统手工数据管理的难度越来越大.同时云架构中出于开发、测试、培训以及数据对外共享变现等环节需要从生产环境中同步和迁移大量数据,其中亦会涉及大量用户隐私数据.而之前整体IT系统数据流和业务流的关系不太清晰,业务数据可视化展示程度很低,缺少可视化的企业整体数据地图,对于数据的维护困难重重.

1)云架构下数据管理规划

为解决传统数据管理上的痛点,让数据管理相关工作更加标准化和流程化,我们借鉴国内外IT业界先进的数据管理和运营经验,着手在数据管理领域的自动化运营工具作出了规划.整体规划如下：

在此规划的基础上,着手建设了在云架构下的数据安全管理以及数据生命周期管理两个主要运营场景的自动化工具化建设,其他还处在建设阶段.

2)云架构下数据生命周期管理

根据核心生产系统中数据的特点建立多层次数据存储体系,将用户访问频率较低的远期历史数据按规划从生产环境转移到历史数据中心和大数据平台中,在不影响绝大部分用户应用感知的情况下,有效管控系统整体数据增长,既降低系统运营成本,又满足最终用户的数据需求.我们的数据生命周期管理自动化工具,由数据管理员针对不同种类的数据梳理的数据生命周期策略进行可视化的管理,以自动化方式按不同周期识别历史数据并将历史数据完整地迁移到历史数据中心或其他大数据平台中.

通过作业化自动化的思路,以自动化平台方式实现数据生命周期管理的全程,减少人力在策略管理、数据迁移和数据清理中的人工投入,主要目标在于：

• 策略管理：在平台中对数据生命周期管理策略进行有效管理；策略定义包括数据生命周期定义,数据迁移策略定义,数据清理策略定义；定义数据生命周期作业,定时进行数据生命周期作业调度
• 数据迁移：根据平台中的配置的数据生命周期策略定义,请理作业实施数据的自动化迁移,数据迁移过程无需人工干预,不同数据平台间数据迁移
• 数据清理：数据重要程度,清理过程可以通过配置为自动执行和人工确认执行.根据平台中的配置的数据生命周期策略定义,作业实施数据的自动化清理

3)云架构下数据安全管理

根据生产系统中敏感数据分布情况,建立敏感数据策略化管理.在数据从生产环境中向未安全环境,包括开发、测试、培训和对外数据共享等,进行数据迁移和同步的过程中,因应数据安全管理员制定的敏感策略对数据进行自动化安全脱敏,减少敏感数据外泄的可能.

目前数据安全自动化管理工具,实现从敏感数据识别,脱敏策略配置,数据迁移配置,以及数据在线和离线脱敏全程,自动化安全地将数据从生产环境向非安全环境迁移,同时在迁移过程中实施敏感数据脱敏.

（编辑：ASP站长网）