文章目录

• 引言
• 数据集成 – 实时日志
• 数据治理 – 元模型
• 数据治理 – 元数据采集
• 数据治理 – 元数据管理
• 结语

引言

数睿通 2.0 目前基本完成了数据集成，数据开发，数据服务三大模块，初步具备了拉数，造数，供数的能力。因为平台相关人员都是兼职开发，并非全职，所以进度没有那么快，这点希望大家可以理解。3 月份主要是完善了一下数据集成，添加了实时日志的展示，同时开发了数据治理模块 — 元数据的相关功能，主要包括元模型，元数据采集，元数据管理，数据治理模块还有数据血缘，数据质量，数据标准，数据清洗处于开发之中，四月中下旬应该可以再出一版，元数据是底层基础，地基打好了，剩下的功能开发起来会顺手很多。之前的功能就不做赘述了，首次了解的朋友可以查看我的往期文章，下面我们来看一下本次主要更新的功能吧。

数据集成 – 实时日志

之前的数据集成任务执行之后，无法实时获取任务的执行日志，不方便排查问题，所以本地更新添加了查看实时日志的功能，具体功能如下所示：

数据治理 – 元模型

元模型可以理解为是描述元数据的数据，元模型分为内置元模型和自定义元模型，目前内置的元模型有数据库，数据表和表字段，内置元模型是固定的，不可更改，而自定义元模型则可以灵活扩展，达到自定义元数据的效果。

数据治理 – 元数据采集

通过元数据采集功能，我们可以指定需要采集的数据源，一次性或者定时采集目标数据源的元数据信息，支持全量和增量采集，全量则会保持元数据跟目标数据源完全一致，多余的数据会进行删除，增量则只会新增和更新数据，不会做删除操作。采集的时候会根据定义的元模型的属性信息进行采集。

元数据采集执行时会生成执行记录，通过执行记录可以查看采集的实时日志信息，帮助排查解决问题。

数据治理 – 元数据管理

元数据采集之后，可以在元数据管理模块查看采集的元数据信息，帮助我们直观的了解元数据信息，目前开发中的数据血缘，数据质量等都依赖于元数据管理模块，它是整个中台的基盘，对数据治理起着至关重要的作用。

结语

这就是本次更新的主要内容了，看起来功能不多，但代码量却一点不少，数据治理在数据中台中至关重要，企业能不能管理好数据，用好数据，构建好自己的数据资产目录，都很大程度上依赖于数据治理，所以这块不能急于求成，慢工出细活，需要好好设计一下，数睿通从启动至今，得到了不少朋友的鼓励和认可，在这里由衷的表示感谢，这也是我们开发的动力源泉所在。

想要获取系统目前最新源码，部署指南等资料的朋友可以关注公众号 螺旋编程极客 加入我的知识星球，星球内可以获取到数睿通 2.0 的最新源码资料等，新功能发布之后也会第一时间分享，期待你的加入。