大数据治理需要具备哪些能力和关键技术？(2)

通过大数据治理来提升数据质量的过程中，涉及到很多环节、工作和技术，其中包括：通过合理的技术找出数据问题并找到问题数据；从各个维度监控数据问题，并能通过最直观和快捷的方式反馈给相关责任人；实现问题发现、认责、处理、归档等数据问题的闭环解决流程等。中间主要涉及到以下两个方面：

第一，要想及时全面地找到问题数据，不仅要关注关键点，还要有合适的方法。数据最容易出现质量问题的地方就是数据集成（流动）点，例如：性别在单系统中，有1和0或者男和女表示都行，但是系统间集成时就会有问题。因此，解决数据质量的关键，就在于在集成点检查数据质量。另外，针对大数据量的数据质量检查，即要保证实时性，也要保证不影响业务系统的正常运行，因此在对特别大的数据量进行检查时，要采用抽样检查的方式。

第二，数据问题发现后，还要直观地将数据问题展现出来并及时通知相关人员。因此大数据治理平台应提供实时、全面的数据监控，实现多维度实时的数据资产信息展示：

从作业、模型、物理资源等各方面进行全面的数据资产盘点；

对数据及时性、问题数据量等方面的数据健康环境进行全面的预警。

3、用起来：自助化数据服务构建技术

大数据治理的最终目标是为最终用户提供数据，这需要快速找到数据，并快速建立数据交换的通道。

知识图谱是一种非常好用、直观的数据应用方式。人工智能的知识图谱构建，可以从以下步骤考虑：

基于企业元数据信息，通过自然语言处理、机器学习、模式识别等算法，以及业务规则过滤等方式，实现知识的提取；

以本体形式表示和存储知识，自动构建成起资产知识图谱；

通过知识图谱关系，利用智能搜索、关联查询等手段，为最终用户提供更加精确的数据。

基于元数据的自助数据服务开发，可以简单快速地建立数据通道。通过自助化的数据生产线，数据使用方（业务人员）大大减少了对开发人员依赖，80%以上的数据需求，都能通过自己进行整合开发，最终获取数据。让所有用数据的人能方便得到想要的数据。其中，提供所需数据的自助查询能力、自动生成数据服务、及时稳定的获得数据通道、保证数据安全是实现自助化的大数据生产线的四个关键点。

三、如何选择合适的大数据治理工具？

工欲善其事必先利其器，大数据治理的落地开展离不开工具的支撑。大数据治理工具一般分为两类：一类是单个工具，另一类是集成平台，用于不同的阶段、场景和客户。其中，单独工具有：元数据、数据质量、主数据等，集成平台包括数据资产管理、数据治理平台、自助服务平台等。

下面重点介绍其中两个核心的工具：一个是元数据，另一个是自助数据服务平台；

1、大数据治理的核心——元数据管理工具

元数据是大数据治理的核心，元数据管理工具应该支持企业级数据资产管理，并且从技术上支持各类数据采集与数据的直观展现，从应用上也要支持不同类型用户的实际应用场景，一个合格的元数据管理工具，需要具备以下几项基本能力：

首先，元数据要有全面的数据管理能力。无论是传统数据还是大数据，无论是工具还是模板等，都应该是元数据的管理范畴。对于企业来说，要想统一管理所有信息资产，还依靠原来人工录入资产的方式肯定是不行的，企业需要从技术上提供各种自动化能力，实现对资产信息的自动获取，包括自动数据信息采集、自动服务信息采集与自动业务信息采集等，这要求企业使用的数据管理工具支持一系列的采集器，并且多采用直连的方式来采集相关信息。

其次，尽管元数据是一个基础的管理工具，也需要具备好的颜值和便捷的使用方式，以便给用户带来好的应用感受。作为一款元数据管理工具，能让用户能在一个界面全面了解到元数据信息，通过图像从更多维度、更直观地了解企业数据全貌和数据关系是很重要的。除此之外，通过H5等流行的展现技术实现各浏览器的兼容，支持界面的移植也是元数据管理工具必不可少的能力。

再次，元数据管理工具不仅仅是一个工具，还需要关注各类人的使用诉求，跟具体用户的使用场景相结合。对于业务人员来说，通过元数据管理的业务需求管理，能更容易地和技术人员沟通，便于需求的技术落地；对于开发人员来说，通过元数据管理能管控系统的开发上线、提升开发规范性，自动生成上线脚本，降低开发工作难度和出错几率；对于运维人员来说，通过元数据管理能让日常巡检、版本维护等工作变得简单可控，辅助日常问题分析查找，简化运维工作。

2、大数据治理的最佳实践——自助化数据服务平台

大数据治理最终目标不仅仅是为了管理数据，而是为用户提供一套数据服务的生产线，让用户能通过这条生产线自助地找到数据、获得数据，并规范化地使用数据，因此自助化数据服务共享平台是大数据治理必不可少的工具。

（编辑：ASP站长网）