凡客诚品陈贻泰：一套高实用性基础架构，专治电商运维各种痛点(3)

现在我们看看邮件的投递,也就是发送这块.

我们知道 Exchange 本身就可以作为投递,为什么要单独拿出来再做一个邮件投递系统了.

原因是因为我们的业务模式决定了.而且从技术上开,邮件投递只需要很轻便的 SMTP 服务就可以了,所以 Postfix 非常适合,可以极大的降低 Exchange 的负载.

而且各类邮件是分开的,避免交叉影响.尤其是影响邮件投递的成功率.比如 EDM 大量的投递,那么对应的 IP 地址池很可能信誉度会降低,就会影响正常办公邮件和其他业务邮件的投递.

假如投递系统没有分开的话.基本上我们把投递分为办公邮件的投递、内部报警邮件的投递、凡客业务邮件的投递、vjia 业务邮件的投递、以及 EDM 大量广告邮件的投递.

3.6 即时通讯系统建设

刚才我们了解了邮件异步通讯这块,那么凡客的即时通讯是个什么情况?

简单的一句话,我们打通了传统电话和 IP 电话、打通了 PC 和手机、打通了即时通讯和邮件、打通了开源 SIPX 和微软 Lync、打通了 PSTN 电话网络和 VOIP 计算机网络,形成了一个统一的企业沟通系统.

这个张图是当时的 Lync 系统架构部署图.从这个图里可以了解整个统一沟通平台的大致情况：

1. Lync 自身的高可用设计,杜绝单点故障；
2. 这是一个分布式的电话系统,全国各地都有自身的 SIPX 来管理电话机,以及从通过当地语音网关从当地 ISP 出局,Lync 负责 PC 终端.
3. 手机、电话、PC 是互联互通的.企业统一沟通.从沟通来讲,手机、电脑、电话合一,从技术来讲,我们使用 IP 网络,传统电话网络和内部的计算机网络是合二为一的.

3.7 账户与权限建设

账号管理是企业IT的重头戏,凡客这块个人认为做得很有特点.

1. 凡客以 Windows AD 作为账号管理系统,因为我们的办公、以及线上服务器,无论是 Windows 还是 Linux 都是域管理模式.
2. 凡客账号管理既有自动化,也有用户自助化的特点.
3. 凡客内部的权限都是基于 AD 账号的.

不管你是登陆个人 PC 还是办公或者网站服务器、网络设备,或者是内部网站,像登陆 PC 或者登陆金蝶,这类验证方式可以归属为 LDAP 方式,权限控制基本上有各个系统自行控制,或者结合 Windows AD 的安全组来进行控制.

对于登陆公司内部系统,由于自己开发的,所以基本上都是采用自己开发的一组 WebService 来验证和统一授权,提供这些接口的系统在我们内部叫PMS权限管理系统.

账号管理这块凡客做得是非常有特点的,这个架构除了适应凡客这样的互联网企业,据我从以前同事那了解到,这个方案用由他带到了到传统的上市公司,也得到了很好的效果.

我们有一个非常庞大的 AD 账号系统,这是当时 DC 服务器全国分布图.

我们有两个核心的内部用数据中心,只有在两个数据中心是可写的 DC,其余三十来个站点全部是只读.这样的架构,高可用性和安全性都能照顾到.

3.8 AD域设计

关于 AD 设计,最有特点的就是 OU 结构的扁平化设计,而不是安装传统的组织结构.也就是在 Employment 员工这个 OU下,所有的员工账号都在里面,因为离职的账号我们只会禁用,所以目前这里面账号应该有好几万吧.

关于为什么这么设计,是当时打通人事和IT系统账号信息方面种种原因所迫.详细情况就不谈了.在这里只告诉各位：

1. 这么做可以极大地降低 AD 账号自动化管理的难度,你如果觉得会影响组策略什么的,我可以告诉你我们考虑过了,这都不是问题,凡客 IT 后续和账号相关的管理,很多都得益于这个最最基础的简单的 AD 数据结构.
2. 还一个就是性能问题,从我的经验看,上万活动账号都不是问题,个人认为10万以上都不是问题.

3.9 IT运维自动化建设

IT 运维自动化的核心和前提其实是标准化,这个是运维思想层面的事情,具体我们是通过微软 System Center 中系列实现,尤其是 SCCM 系统.

我们根据业务类型,制作了不同的操作系统镜像,有仓储的,有一般办公的,有开发人员的,有呼叫中心坐席的,都可以裸机网络启动来安装好系统,不仅仅提高了工作效率,关键是整个系统都是标准的,规范的.这个也成为了我们系统安全的基石.

有些软件安装是需要授权的,我们通过账号管理系统中的审批流程来实现审批,审批完成,用户就能自己安装了.远程协助解决公司内部 pc 终端问题也都靠它,这样一个北京的支持人员可以远程去支持广州的桌面问题.

看起来 SCCM 整个工具很强大,其实更强大的是我们的标准化.除了桌面支持,后台没有 SCCM 的系统、网络都可以这么做,因为每个地方的网络环境、软件系统环境都是一个标准的,中心的人员可以直接快速的支持任何一个站点的系统网络.这样做,导致了整个部门管理效率的提升!

凡客做运维自动化采用的是微软的 SCCM 方案,这个是老版本的 SCCM 系统架构,目前是 SCCM 2012 r2,该架构的特点是别处新意的.我们近四十个站点,数千台PC终端,采用的架构是扁平化的.细节就不谈了,只说说整个架构的优点：

1． 架构简单,易于部署和后续管理,节约成本；
2． 系统安装和软件分发类似 CDN,没有跨站点的流量.

3.10 虚拟化建设

虚拟化在外面的基础架构中的地位举足轻重,说句极端的话,由于历史原因,很可惜,企业IT服务器虚拟化比例没有达到百分之百.凡客的办公核心,各地机房,我的原则是,务必全部虚拟化.

所以,从某个层面来看,我是把物理机看出一种平台而已了.我们前面谈到 AD、lync、SIPX、Exchange、SCCM、文件服务器等等,基本上都是虚拟机.

采用虚拟机的好处就不多说,主要是要注意风险,尤其是不能把鸡蛋放到一个篮子里面.

我们知道虚拟化后,一台物理机上跑了多个虚拟机,这样一挂就是挂一片虚机,所以风险是增大了.

我们虚机可用性非常高,是因为通过冗余负载我们在服务层面是没有单点故障的.

比如我们每个站点提供账号验证、DNS、DHCP 服务的域控,每个站点都有两台,而且这两台绝对不在同一台宿主机上,甚至这两台宿主机不在同一个机柜,不是使用同一个 PDU,同一个交换机.

4、总结

（编辑：ASP站长网）