主数据管理系统

MDM Master Data Management

数据清洗

产品概述

数据清洗套件可建立基于多对多关系数据模式的开放式数据清理功能,使企业管理人员可以控制已有数据的抽取、清理和重整,包括映射关系的转换和对照关系的存储。

数据清洗套件支持对导入原始数据的抽取、分词、语义识别、清洗与整合构建不同主题模型的主数据信息库,通过人工干预与确认,完成主数据初始化工作。数据清理功能采用系统自动扫描清洗与人工干预相结合的模式进行数据清洗,界面操作友好,可实现高效率人工干预与确认数据。

数据清洗套件可根据检测规则检测出不符合要求的数据,在系统自动检测结果的基础上可以人工介入进行批量操作。在数据清洗的过程中,可增补标准模板属性的值列表范围、上下限值。支持对原始数据批量指定类别、指派责任人等功能,支持通过逻辑条件和校验规则自定义清洗规则,并通过运行清洗规则实现数据的批量清理。

支持语义定义与识别功能,同时支持企业级语义模型库,对每一条原始主数据通过与语义库中的语义模型进行比较,通过参考语义语境识别和提取必要的信息。无论输入格式、标点、术语等存在哪些差异,均可实现语义识别,而且信息标准化管理系统的语义识别可应用于结构化数据和非结构化数据。通过语义识别与解析,提升数据处理效率。

在数据清理过程中支持匹配策略定义:可自定义匹配规则、复杂的匹配策略、数据特征等,系统可根据自动扫描结果进行初始映射关系建立,按照相似度进行标准库数据的列举,并通过在线查重功能通过人工干预灵活的建立映射关系与取消匹配。