很多企业面对纷繁多样的多源数据技术人员需针对不同数据源逐一编写专属校验脚本工作重复度高、人力成本投入巨大。但这次AllData数据中台集成DataVines构建数据质量平台彻底打破了传统数据质检的痛点瓶颈让复杂的数据质量治理工作真正实现轻量化、高效化、智能化。项目地址https://github.com/datavane/datavines文档地址https://datavane.github.io/datavines-website/本次版本升级亮点十足数据质检能力迎来大幅进阶体验焕然一新。以往开展全域数据质量管控只能依赖手动编写规则、逐项核验数据不仅流程繁琐冗长数据容错率也偏低。如今依托 DataVines可视化配置与轻量化规则编辑功能各类场景的数据质量巡检、任务管控均可高效完成。数据质量平台搭建了全维度、全覆盖的数据校验体系可精准检测数据的完整性、准确性、唯一性与及时性全方位筑牢数据质量防线。数据质量平台【DataVines】功能演示1、数据质量分析作为统一的质量监控入口支持多源数据接入与管理为全链路数据质量评估与分析提供稳定基础。图1-数据质量分析图2-数据质量分析2、告警管理集中配置与处理各类质量告警规则实现异常问题的智能感知与多渠道、分级别的精准触达。3、错误数据管理提供对质量规则所识别出的错误数据进行查看、筛选、分发与跟踪处理的闭环管理能力。4、用户管理统一管理平台用户、角色与权限保障不同团队在协同进行数据治理时的操作安全与职责清晰。5、标签管理支持为数据资产打上业务或管理标签实现基于标签的灵活分组、快速检索与差异化质量策略配置。6、参数管理集中管理系统级的配置参数与业务规则阈值实现全局策略的统一调整与高效维护。一、数据源接入步骤1: 打开数据质量分析点击创建数据仓库进行新建数据源(1)数据仓库类型选择“MySQL”(2)地址32g005(3)端口33996(4)用户名root密码22WCp2OUgZhR(注意密码不要填错)*不同数据源对应账号密码不一样实操示范中数据源信息对应为此账号密码如需新建数据源可在数据源管理进行新建并在此处更换成新建数据源信息及其账号。步骤2: 点击测试链接显示链接成功点击确认完成创建图1-新建数据源图2-创建完成二、配置质量规则步骤1:选中刚刚创建的“数据质量检查”数据库进入详情页查看数据大盘。在左侧导航栏中点击“作业管理”选择“数据比对作业”类型然后点击“创建规则作业”中的“数据质量作业”。业。步骤2:点击保存完成新建(1)名称AllData-Test-2026(2)Metric选择“非空检查”(3)数据库信息选择“studio”、表名选择“account”、列选择ACCOUNT_ID(4)其他信息期望值类型选择“日均值”、结果公式选择“实际值/期望值*100%”、比较符选择“”、阈值输入100图3-作业管理-创建规则作业三、设置告警策略步骤1: 打开告警管理后点击创建SLA进行新建通知步骤2: 返回数据质量分析中的“数据质量检查”进入作业管理点击数据质量检查的作业编辑图4-数据质量检查-编辑步骤3: 进行设置定时任务配置、发生错误时候SLA告警配置。图5-设置定时任务配置图6-选择SLA步骤4: 点击保存完成SLA配置设置后返回告警管理中点击“数据质量告警通知”详情会显示已经关联来“数据质量检查”这个作业。在该页面通知管理中点击添加通知进行添加警通知人。图7-选择关联规则作业图8-通知管理-添加通知四、执行与参考结果步骤1: 打开数据质量分析进入“数据质量检查”数据库在质量大盘中可以清晰查看作业的运行情况图9-质量大盘-作业运行情况步骤2: 在作业执行记录里可以查看该数据库的所有作业情况图10-作业执行记录步骤3点击列表操作中的结果可以查看当前作业的检查结果详细。图11-作业执行记录-结果这次AllData 集成 DataVines构建数据质量平台绝非简单的功能堆砌。数据质量平台可将零散难落地的数据质量治理工作规范化、可控化有效规避数据风险把数据沉淀为可信可用资产助力业务精细化发展。还在困扰数据杂乱、质检低效、治理无从下手频繁切换工具耗费大量精力 不妨一起来体验 AIIData 数据质量平台一站式搞定全域数据质检与治理工作。
