混合云多租户大数据平台的容量和合规性思虑

发布时间：2022-06-09 15:05 所属栏目：124 来源：互联网

导读：近年来大家都逐渐意识到数据驱动的洞察力的重要性，因为这种方式可以增强战略决策并提高投资回报率，为了安全存档大数据同时也将焦点落在构建数据湖和数据仓库上。顺势，大数据可用于支持各种数据工程、数据科学、业务分析和运营分析计划，并通过提高运营效

　　近年来大家都逐渐意识到数据驱动的洞察力的重要性，因为这种方式可以增强战略决策并提高投资回报率，为了安全存档大数据同时也将焦点落在构建数据湖和数据仓库上。顺势，大数据可用于支持各种数据工程、数据科学、业务分析和运营分析计划，并通过提高运营效率、降低运营成本、制定业务战略来帮助企业受益。然而，人类日常消费和生成的数据呈指数级增长，因此就需要在大数据平台中采用结构良好的容量治理方法。

　　交付方式：
　　遵循成熟度矩阵，从数据收集和探索，到识别趋势和执行分析，通过分析来支持智能运营。这里将分为 7 个阶段实现这一目标：

　　1、全面盘点
　　建立全面的跨平台清单，其中虚拟机基础架构级别的清单可以从本地监控工具中轻松获得。需要注意的是，容器化平台和不同公有云中的 API以及监控模式是存在差异的。除此之外，仅 VM 级别的清单是不够的。由于平台使用了多个内部的、供应商支持的和开源的中间件，而这些中间件由不同组件组成，所以需要对这些中间件创建清单。我们必须实现发布者、观察者和订阅者来为这些中间件执行角色标记，然后再将这些中间件部署到虚拟机、容器化（Kubernetes/Openshift）或公有云平台中。

　　2. 基础设施利用率、消费趋势以及分析
　　当了解跨混合云基础架构部署的角色之后，就需要使用基础架构利用率并将数据分类为更细的颗粒度，并且对其定义指标。

　　此外，监控数据必须解决这两个问题：

　　时间点事件管理需要快速识别、通知和解决 CPU、RAM 和网络容量问题。事件管理仪表板的采样频率需要接近实时。

　　时间序列数据是容量矩阵的聚合，其中聚合数据的标记从 5 分钟的采样汇总到每小时、每天、每周和每月的采样汇总。通过这样的组件采样频率，提升长期容量利用率和服务运行状况分析的能力。

　　上面说的数据是技术/基础设施利用率数据，然后将多租户占用率数据叠加到这些数据之上，得出每个数据集、工作、项目/计划和业务单位的租户占用率的累积信息。

　　3. 需求分析与预测
　　如果从基础设施利用率中获得租户的入住率数据，就能够确定存储、计算和项目规模级别的增长趋势。基于单个数据集/租户的相对增长，就可以确定最高占用者、增长最快的数据集/租户、顶级（计算）浪费和非关键噪声邻居。

　　4、性能优化
　　确定最浪费的资源，在确保适当冗余并提高服务可靠性的前提下，与业务部门合作对资源进行优化减少浪费。在每个时间点，都有由作业程序调度到集群上的数千个作业，每个队列包含数百个提交的作业，这些作业服务于每日、每周、每月或临时计划。在这些作业的执行过程中需要识别和调整最大的 CPU 和 RAM 浪费，并将非关键作业安排到非关键或非高峰时间段运行。

（编辑：ASP站长网）

混合云 多租户大数据平台的容量和合规性思虑

混合云多租户大数据平台的容量和合规性思虑