标签：是否 实践 接口 访问 数据管理 数据安全 数据 变更

元数据管理

• 元数据是组织机构最重要的数据类型之一，也是价值最高的数据之一。对元数据进行管理不仅可以提升组织内部数据的使用效率，还可以帮助企业建立数据上下游关系。

建立负责元数据管理的职能部门

• 为了提高企业内部对元数据的使用和管理效率，在条件允许的情况下，组织机构应该设立元数据管理部门并招募相关的管理人员和技术人员，负责为公司提供必要的技术支持，为组织机构内部制定整体的元数据管理制度、元数据语义规则等，对组织机构内部的元数据场景进行风险评估，为技术人员建立规范的元数据访问控制策略和审计机制，以确保任何人对元数据的操作都可以追踪溯源。除此之外，元数据管理部门还需要为元数据审核人员（技术人员）进行专门的安全意识培训，并推动以上相关要求在组织机构中切实可靠地执行。

明确元数据管理岗位的能力要求

• 组织机构在设立了专门负责元数据管理的岗位之后，还需要招募负责该项工作的专项人员。元数据管理部门的管理人员必须具备良好的数据安全风险意识，熟悉国家网络安全法律法规，以及组织机构所属行业的政策和监管要求，在进行元数据管理，以及制定元数据管理制度和元数据语义规则的时候，能够严格按照《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等相关法律法规和行业规范执行。同时，相关的管理人员还需要具备一定的元数据管理经验，拥有良好的元数据管理专业知识基础，且通过了岗位能力测试，熟悉主流的元数据管理制度、管理流程、管理要求和技术工具，能够根据不同的管理要求和元数据安全属性进行相应的风险评估，能够根据元数据管理和审核的整体需求明确应使用的元数据管理和审核工具。除此之外，管理人员还需要能够根据行业及政策变化主动更新相关的知识和技能，具备能够结合业界标准、合规准则、业务场景制定标准化元数据管理制度的能力。
• 元数据管理部门的技术人员必须具备良好的元数据管理安全风险意识，熟悉相关的法律法规及政策要求，熟悉主流厂商的元数据审核方案，熟悉主流的元数据访问控制和审计的工具及其使用方法，拥有一年以上的元数据审核经验，能够充分理解并执行由管理人员制定的元数据管理方案，能够充分理解组织机构内部的元数据管理业务需求，具备根据政策变化和技术发展主动更新自身相关知识和技能的能力，具备对突发的元数据审计事件进行应急处理的能力。

元数据管理岗位的建设及人员能力的评估方法

• 1.调研访谈
• 对元数据管理团队人员的访谈内容为：确认其在制定整体的元数据管理制度上、在制定统一的元数据语义规则和语义格式上、在明确元数据管理场景和管理流程上、在对元数据管理场景进行风险评估上、在明确数据安全元数据管理要求上、在建立元数据访问控制策略上、在建立元数据的审计机制上、在规定标准的元数据审计工具上，是否符合相关的法律规定，是否具备足够的能力胜任该职业。同时，调研访谈还应该确认管理人员是否明确了数据服务元数据语义的统一格式和管理规则，如数据格式、数据域、字段类型、表结构、逻辑存储和物理存储结构及管理方式；管理人员是否明确定义了数据安全元数据的管理要求，如口令策略、权限列表、授权策略等。
• 对元数据管理部门技术人员的访谈内容为：确认其是否具有一年以上的元数据安全审批经验；是否熟悉元数据管理的相关合规要求；是否能够按照国家相关法律法规和管理人员制定的元数据管理制度和审核制度对不同属性的元数据进行审查；是否能够准确理解组织机构内部的元数据管理业务需求；是否能够准确地实施由管理人员制定的元数据管理流程；是否能够对突发情况进行及时的应急处置与追踪溯源。
• 2.问卷调查
• 元数据管理人员是否制定了针对组织机构内部的、有效的元数据管理制度及管理流程；是否明确定义了元数据管理的场景和要求；是否制定了数据服务元数据语义统一格式和管理规则；是否建立了对元数据的访问控制策略和审计机制；是否可以对不同的元数据管理场景进行风险评估；是否能够依据国家的相关法律法规对元数据管理的过程进行严格规范的监管；是否规定了在不同场景下应使用的元数据管理工具；是否制定了统一的元数据审查工具及相关的使用标准，以用于应对突发情况下的应急处置与追责溯源。
• 3.流程观察
• 以中立的视角观察公司元数据管理人员的工作流程，包括在为公司制定整体的元数据管理制度及管理要求时，为公司建立统一的元数据语义格式和语义规则时，为不同的元数据管理场景提供安全风险评估时，为技术人员建立元数据访问控制策略和审计机制时，为技术人员指定统一的元数据管理工具并制定相应的标准操作流程时，是否可以识别出此中可能存在的元数据安全风险，是否贴合组织结构的内部框架，是否满足不同业务场景的安全需求，是否符合国家相关法律法规的要求。
• 以中立的视角观察公司元数据技术人员的工作流程，包括审核待管理的元数据时、记录元数据管理的工作流程时、审查和管理不同安全属性的元数据时，是否可以识别出其中可能存在的安全风险，方法流程是否符合标准的流程，是否符合国家相关法律法规的要求等。
• 4.技术检测
• 元数据管理阶段的技术检测，需要使用技术工具检测元数据管理的工作流程是否符合安全规范与法律规定；检测在元数据管理和审核的过程中，是否有出现任何超出元数据管理授权范围的情况；检测元数据访问控制和审计机制是否正常，确保当出现突发情况时组织机构能够快速进行应急处置；检测元数据管理的方式是否符合标准，以及元数据管理的安全需求是否能够得到满足。

明确元数据管理的目的和内容

• 元数据是用于描述数据或其他信息资源等对象属性的数据。同时，元数据本身也是数据，因此可以用类似数据的方法在数据库中进行存储和获取。元数据管理的目的具体如下：识别和评价数据资源，追踪数据资源在使用过程中的变化；实现简单高效地管理大量网络化数据；实现信息资源的有效发现、查找、一体化组织，以及对使用资源的有效管理。如果没有元数据，那么组织IT系统中收集和存储的所有数据都会失去意义，从而也就失去了业务价值。
• 元数据管理人员应熟悉国家网络安全法律法规，以及组织机构所属行业的政策和监管要求，结合实际情况建立元数据管理制度，明确元数据的编写要求（如数据格式、数据域、字段类型、表结构、逻辑存储和物理存储结构及管理方式等）、元数据访问控制要求，元数据变更管理流程，元数据变更和访问操作日志记录和审计要求等，防止组织内部合法人员利用违规或违法手段取得的权限进行不正当的操作，并通过建立元数据管理平台进行统一管理，采取严格的访问控制、监控审计和职责分离来确保元数据管理的安全性。

明确元数据访问控制要求

• 元数据管理部门需要按照“角色”对用户进行划分，并制定元数据管理平台的访问规则，管理用户对元数据库的访问，如元数据库中数据的访问控制、元数据分析的访问控制、元数据维护的权限等。使用元数据的所有用户都必须按规定执行，以确保元数据的安全。
• 元数据管理部门必须确保用户权限被限定在许可范围之内，同时还要能够访问到有权访问的信息。
• 元数据管理部门需要对元数据管理平台进行设置，保证用户在进入系统平台之前必须执行登录操作，并且记录用户登录成功与失败的日志。
• 访问控制的规则和权限应符合实际情况，并记录在案。

制定元数据变更管理流程

• 元数据管理相关人员应根据实际情况，结合业务需求，明确需要变更的元数据，并在元数据管理平台上发起元数据变更申请，需要填写的内容包括申请人、元数据变更内容和变更原因等。
• 提交数据变更申请后，元数据管理平台会启用自动审核功能，对变更的元数据进行初步的有效性审核，主要以过滤数据结构性错误为主，如缺少字段类型错误、编码缺失或字符编码不可识别等错误。如果管理平台在自动检查过程中发现错误，则会将错误数据放入问题数据栏，以便数据管理员进行人工审核。变更申请在元数据管理平台自动审核通过后，将提报元数据管理部门进行审批。
• 元数据管理部门接收到元数据变更申请后，组织的相关人员会开展元数据变更评审会议，对所申请的元数据的变更进行合理性和必要性的评估，并对元数据的质量及变更所造成的影响进行评估。对于通过评审的元数据变更申请，元数据管理部门会在元数据管理平台上录入元数据变更实施期限，并确认元数据变更申请审核。若评审结果为否决变更，则由元数据管理部门在元数据管理平台进行否决变更需求的操作。
• 如果元数据变更申请已通过元数据管理部门审核，则元数据将自动进入待发布流程。经元数据管理部门作最后确认后，元数据平台会将需要变更的元数据正式入库并发布上线，同时发布元数据变更通知和变更说明文档。

元数据变更和访问操作审计记录

• 为了安全起见，在元数据变更和维护的各个阶段都需要加入安全审计机制，严格、详细地记录元数据变更和维护过程中的相关信息，以方便后续问题排查分析和安全事件取证溯源。同时，元数据管理部门还需要设置专人对元数据变更和维护相关的日志记录定期进行安全审计，发布审计报告，并跟进审计中发现的异常。

使用技术工具

• 元数据是“关于数据的数据”，也就是对数据进行描述的信息。对数据不同方面的描述会形成不同类型的元数据。元数据通常可分为业务元数据（如业务术语和业务规则等）、技术元数据（如数据库表结构和文件结构等）、操作元数据（如数据的更新时间和更新频率等）和管理元数据（如数据的负责部门和负责人等）。元数据管理是关于元数据的创建、存储、整合与控制等一整套流程的集合。因此元数据管理工具应能实现识别和评价数据资源，追踪数据资源在使用过程中的变化；能够简单、高效地管理大量网络化数据；实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。

• 元数据源层：其中包括数据仓库设计的数据仓库产品、数据挖掘工具、建立数据仓库过程中所需的数据信息等。

• 元数据获取层：用于实现元数据源中各个系统的元数据抽取功能。元数据桥接器通过符合双方约定规范的接口或各个产品提供的特定接口来实现元数据的抽取，并把抽取出的元数据存入元数据存储层的元数据库中。

• 元数据存储层：用于实现元数据的存储，存储的元数据包括业务元数据和技术元数据，元数据将按模型主题进行组织。存储库的逻辑模型设计必须兼顾效率和模型的可拓展性及灵活性。

• 元数据管理层：由元数据管理和系统管理2个部分构成。元数据管理用于实现元数据的更新管理、同步管理、版本管理等功能。系统管理则用于实现用户管理、权限管理、日志管理、备份与恢复等功能。有些元数据管理部分的功能需要通过人工或半人工操作实现。

• 元数据服务接口层：用于提供元数据对外的访问接口，包括ETL、DQM、OA系统或其他系统的服务接口，这些系统可通过元数据服务接口访问元数据存储部分中的元数据。该部分为其他用户或系统使用元数据提供了扩展方式，通过数据访问接口返回元数据中的数据内容，并生成其他数据系统需要的数据字典或提供其他应用的访问接口，提供与ETL系统、数据质量管理系统的数据交换机制。

• 元数据应用层：用于为元数据管理人员、技术人员和业务用户提供访问服务功能。该部分实现了元数据查询、元数据浏览、元数据分析等基本功能模块。

元数据自动获取技术

• 元数据自动获取技术可以通过SQL元数据自动解析工具实现，主要过程分为输入、SQL解析、输出三个环节。SQL解析器由SQL词法分析器、SQL语法分析器和元数据生成器三个功能模块组成，此外还需要符号表管理模块和错误检查处理模块来辅助词法分析器、语法分析器和元数据生成器来完成SQL语句的自动解析。SQL解析器的构造如图11-14所示。SQL解析器首先将SQL语句解析成抽象语法树，然后再将抽象语法树按照规定的元模型生成元数据。

• SQL语句以字符流的形式输入；经过词法分析形成层次化的语法树；对语法树进行整理，去除多余的节点，形成抽象语法树；遍历抽象语法树进行语义分析；根据语义分析的结果构造元数据。对于少数无法通过标准接口或特定元数据访问接口提取元数据的情况，元数据管理人员需要采用辅助方法（如人工手动整理法、程序添加元标注法、ETL MAPPING设计法等）对元数据进行整理，并将其导入元数据库中。

元数据访问接口技术

• 元数据管理必须提供一系列可以访问其内部元数据的接口，支持业务人员和外部系统（或模块）进行信息查询与交互。元数据访问接口主要通过三种接口类型进行实现：Web Service接口、JMI（Java Metadata Interface，Java元数据接口）和XMI（XML Metadata Inter-change，XML元数据交换）接口。
• Web Service是基于HTTP、XML、SOAP、WSDL等协议之上的一种统一、开放的标准，是一种与语言、平台无关的技术，具备跨平台的可互操作性。因此，Web Service为元数据管理平台提供了一种用于元数据访问的通用编程模型。通过访问Web Service接口，其他系统也可以对元数据库中的元数据进行查询、修改、增加和删除等操作。
• JMI为Java平台提供了一种用于元数据访问的通用Java编程模型，易于使用，且可以把CWM（Common Warehouse Metamodel，公共仓库元模型）映射到Java语言中。Java应用程序可以创建、更新、删除和检索元数据库中的信息。CWM到JMI的映射以CWM作为输入，根据JMI规范定义的映射方法和映射模板，完成由CWM到JMI的生成过程。
• XMI接口提供了一种以XMI文件方式与元数据库进行元数据交换的手段。XMI文件按照XML的标准格式生成，并且可以使用由CWM生成的DTD（Document Type Definition，文档类型定义）对其进行有效性验证。XMI接口支持完整的元数据或元数据片段的交换。XMI接口的实现涉及两种映射方式，即CWM到XML DTD的映射和元数据到XMI文件的映射。
• 根据对象到关系的映射规则，实现从CWM到ER模型的转换。
• 根据ER模型到关系模型的映射规则，实现ER模型到关系模型的转换。
• 根据CWM自动或手动生成相应的Web Service接口、JMI和XMI接口。
• 为Web Service接口和JMI添加实现代码。
• 通过Web Service接口和JMI访问元数据库。
• 生成与该CWM对应的XMI文件，实现通过XMI接口的元数据导出；还可以从外部输入XMI文件，使用DTD进行验证，实现通过
• XMI接口的元数据导入。

技术工具的使用目标和工作流程

• 元数据管理工具应支持数据表的导航和搜索：集中展现数据仓库系统各模块的元数据，保持数据在各模块中描述的一致性。全面实现系统各模块的资源共享，以及元数据的快速访问。提供数据表（Table）之间的血缘关系：能够通过血缘路径（指数据的来源、处理过程，以及与其他数据之间的关系）查找问题的原因并加以解决，同时提供字段信息、使用说明、其他关联信息，以方便用户使用数据表。

• 应建立元数据访问控制策略和审计机制，以确保元数据操作的可追溯性。

• 元数据管理系统通过元数据获取层从元数据存储层获取元数据，并结合实际需求实现元数据相关的应用和功能。如图11-18所示，在实际访问过程中，添加用户认证和授权管理，可用于控制相关功能模块的使用。

标签：是否,实践,接口,访问,数据管理,数据安全,数据,变更
来源： https://www.cnblogs.com/autopwn/p/16443564.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。