一、什么是数据目录
数据目录是所有数据的系统性列表，以表、文件、报告等形式存在于公司的各种源系统中。它的工作原理很像时装目录,但它没有详细介绍泳装或鞋子，而是从一家公司的ERP、人力资源、财务、电子商务系统以及社交媒体源获得信息。目录还显示了所有数据实体的位置。
数据目录包含关于每个数据片段的大量关键信息，比如数据的概要(关于数据的统计或信息摘要)、沿袭(数据如何生成)以及其他人对它的看法。目录是数据分析师、数据管理员、数据科学家和其他人员寻找和理解相关数据集以建立洞察、发现趋势和为公司确定新产品的切入点。
二、为什么需要数据目录
据Forrester Research称，只有14%的企业利益相关者充分利用了客户洞察。这是因为大多数公司无法访问他们的数据。
发生这种情况通常是因为存在许多不容易挖掘的数据源。以一个公司的典型数据栈为例:
数据目录解决了这个问题。它使数据易于找到,并提供了跨数据库的每个数据块的全面视图，并确定了关系。此外，它还为组织的数据治理计划奠定了基础。
三、构建数据目录的过程
步骤1:访问所有数据库的元数据
构建数据目录的第一步是收集数据的元数据。数据目录使用元数据来标识数据表、文件和数据库。数据目录遍历公司的数据库，并将元数据(而不是实际数据)抽取到数据目录。数据目录可以抓取的数据库类型有:
■数据管理平台
•关系数据库——Oracle、SQL Server、MySQL、DB2等；
•数据仓库- Teradata, Vertica等；
•对象存储；
•云平台- Google Big Query, MS Azure Data Lake, AWS – Athena & Red Shift；
•非关系型/ NoSQL数据库- Cassandra, MongoDB；
•Hadoop Distributions。
■分析和商业智能平台
•商业智能平台，如Tableau, Qlik, Power BI, Sisense等；
•分析应用程序。
■自定义应用程序
步骤2:构建数据字典
第二步是构建数据字典或将现有的数据字典上传到数据目录中。数据字典包含每个表或文件及其所有元数据实体的描述。可以通过基于网络的软件或使用excel电子表格协作创建数据字典。
下面是一个数据字典的例子：
步骤3:分析查看数据统计信息
下一步是对数据进行分析，以帮助数据使用者快速查看和理解数据。这些概要是解释数据的信息摘要。例如，数据库的配置文件通常包括表的数量、文件的数量、行数等。对于一个表，概要文件可能包括列描述、列中的最高值、列的空计数、不同的计数、最大值、最小值等等。
数据目录的表概要文件示例：
步骤4:标记数据之间的关系
标记关系是至关重要的下一步。通过这个步骤，数据使用者可以跨多个数据库发现相关数据。例如，分析师可能需要合并客户信息。通过数据目录，她发现五个不同系统中的五个文件都有客户数据。有了数据目录的帮助，可以有一个实验区域，在那里可以连接所有数据，清理数据，然后使用合并的客户数据来实现业务目标。
标记为表“Accounts”的关系示例：
有许多标记关系的方法，数据关系可以通过以下几种方式进行识别和标记:
1.通过人的知识；
2.通过先进的算法找出连接。例如，在一个列名为“vendor”的表中，有一个实体“Amazon”。’ 在另一个表中，列V1也有一个实体‘Amazon’。“算法会发现这些表之间存在关联。
3.通过智能查询。一些开发人员根据经验知道不同数据集之间的联系。可以检查它们的查询日志，然后解析它们以标记关系。
步骤5:构建血缘关系
在标记关系之后，数据目录将构建沿袭。数据沿袭的可视化表示有助于跟踪数据从源头到目的地的过程。它解释了数据流中涉及的不同流程。因此，它使分析人员能够追溯错误的根源。通常，ETL (Extract, Transfer, Load)工具用于从源数据库中提取数据，转换和清理数据，并将其加载到目标数据库中。数据目录通过解析这些工具来创建沿袭。一些可以解析的ETL工具包括SQL解析、Alteryx、Informatica、Talend等。
步骤6:组织数据
在表/文件中，数据以技术格式排列，而不是以对业务用户最有意义的方式排列。因此，我们需要在数据资产上进行人工协作，以便业务用户能够发现、访问和信任数据资产。下面是一些技术，通过这些技术我们可以很容易地发现数据，包括标签、根据使用量组织数据、根据特定用户的需求组织数据、通过自动化的高级算法来组织数据。
四、数据目录的易访问和安全性
对于高使用率的数据消费者来说，数据目录应该容易被web应用程序、移动应用程序、Android和IOS应用程序访问。数据目录确保适当的安全性和治理，由于数据目录包含了所有数据，所以必须设置护栏来保护最敏感的文件。数据目录应该具有以下特性：基于角色的安全性、谁在什么时间访问什么数据的信息、审计和加密。
五、构建数据目录的周期
构建数据目录所需的时间取决于要编目的数据库数量。爬行和剖析可以在一两天内完成。在相关的数据库人员帮助下，上传现有的数据字典、构建沿集和标记数据库关系可以在一周内完成。如果一个组织必须编录10个数据库，可能需要4到5周的时间。大公司可以在大约三个月内建立自己的数据目录。一个中等规模的公司可以在2到4周内建立一个。数据目录是当今数据驱动的组织所需要的新的动态和敏捷的工具，它可以作为所有数据需求的单一参考来源。
标签：标记,步骤,数据库,构建,数据,目录,字典 来源： https://blog.csdn.net/ChenVast/article/details/116481416
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。