PyTables学习（数据保存形式，对象树结构）

2021-12-03 09:34:10 阅读：203 来源： 互联网

参考自http://www.pytables.org/usersguide/introduction.html

PyTables的主要目的是提供一个好的操作HDF5文件的方法。

HDF文件是分层数据格式(Hierarchical Data Format)的简称。数据主要由组(Groups)和数据集(Datasets)组成。其中，组的作用类似于文件夹，用于包含数据集或者其他组。组之间层层包含，构成了分层次的结构。由于HDF5文件具有分层存储的特点，可以保存元数据，支持多种压缩模式，具有即时压缩的特点。因此HDF5文件非常适合存储大容量，包含元信息的科学数据。

PyTables的数据形式

在PyTables中的数据集主要有两种形式：表(tables)和数组(array)。

其中，表是由结构相同的记录(records)组成。记录存储了不同的字段(fields)，每个字段的存储的变量的数据类型是相同的。在HDF5的术语中，表中的记录也被称为复合数据类型。

比如，声明一个类(class)，包含命名的字段和类型信息：

class Particle(IsDescription):
    name      = StringCol(16)   # 16-character String
    idnumber  = Int64Col()      # signed 64-bit integer
    ADCcount  = UInt16Col()     # unsigned short integer
    TDCcount  = UInt8Col()      # unsigned byte
    grid_i    = Int32Col()      # integer
    grid_j    = Int32Col()      # integer

    # A sub-structure (nested data-type)
    class Properties(IsDescription):
        pressure = Float32Col(shape=(2,3)) # 2-D float array (single-precision)
        energy   = Float64Col(shape=(2,3,4)) # 3-D float array (double-precision)

之后，就可以基于这个类构造表，然后向其中写数据并保存。

另一个重要的是数组，他类似于表，但不同之处在于其中所有的组件都是同构的。它们有不同的特点，比如泛型，可扩展，可变长度。

主要特性

Pytables具有如下优点：Python所具备的面向对象和可内省，HDF5强大的数据管理功能，NumPy的灵活性，以及Numexpr对大规模网格对象数据的操作能力。具有以下特性：

支持表实体：可以定制数据，在表中添加或删除记录。还支持大量行（最多 2**63，远超出内存容量）。
多维和嵌套表的单元格：表中的元素可以是任意维度的数据。可以声明由其他列组成的列。
对表列的索引支持：对于大型表，并且想要快速查找满足某些条件的列中的值，则非常有用。
支持数值数组：NumPy数组，可用作表的有用补充，以存储同类数据。
可扩展的数组：在磁盘上的现有数组中的任何一个维度添加新元素。此外，您可以使用强大的扩展切片机制访问数据集的一部分，而无需将所有完整的数据集加载到内存中。
可变长度数组：数组中的元素数量可以因行而异。这在处理复杂数据时提供了很大的灵活性。
支持分层数据模型：允许用户清晰地构建所有数据。 PyTables 在内存中构建了一个对象树，用于复制底层文件数据结构。访问文件中的对象是通过遍历和操作此对象树来实现的。
用户定义的元数据：除了支持系统元数据（如表格的行数、形状、风格等）外，还可以指定任意元数据（例如，室温或收集的 IP 流量协议）作为补充实际数据的含义。
读取/修改通用 HDF5 文件的能力：PyTables可以访问和修改大多数 HDF5 文件，例如复合类型数据集（可以映射到 Table 对象）、同构数据集（可以映射到 Array 对象）或可变长度记录数据集（可以映射到 VLArray 对象）。此外，如果一个数据集不受支持，它将被映射到一个特殊的 UnImplemented 类（请参阅 UnImplemented 类），这将使用户看到数据在那里，尽管它无法访问（仍然可以访问数据集中的属性和一些元数据）。
数据压缩：支持即时数据压缩（使用 Zlib、LZO、bzip2 和 Blosc 压缩库）。当您有重复模式时，启用压缩可以节省分析数据的时间。
高性能 I/O：表和数组对象的读写速度仅受底层 I/O 子系统性能的限制。此外，如果您的数据是可压缩的，那么这个限制也是可以克服的！
支持大于 2 GB 的文件
与架构无关：可以在大端机器（如 Sparc 或 MIPS）上编写文件并在小端机器（如 Intel 或 Alpha）上读取。此外，在 64 位平台（Intel-64、AMD-64、PowerPC-G5、MIPS、UltraSparc）上成功进行了测试。

对象树(The Object tree)

PyTables可以在一个树状结构中管理表和数组。为了实现这个功能，PyTables动态地创建了对象树的结构，从而模拟HDF5在磁盘中的存储方式。通过遍历动态树实现对HDF5对象的读取。通过检查节点的元数据(metadata)，可以了解对象中存储了什么格式的数据。

在对象树中不同的节点，是PyTables类中的实体。有几种类，但最重要的类是结点(Node)，组(Group)和叶(Leaf)类。Pytables树中所有的节点(nodes)都是结点(Node)类的实体。组和叶都是Node类的子类。组实体是包含了0个或更多个叶节点的组结构。叶实体是不再包含其他组或叶，只包含实际数据的容器。表(Table)，数组(Array)，CArray，Earray，VLArray，以及未定(UnImplemented)类则是叶的子类。

对组和叶进行操作类似于在Unix文件系统中对文件夹和文件进行操作。在 PyTables 中，对象树中的对象通常通过完整（绝对）路径名来引用。此完整路径可以指定为字符串（例如 '/subgroup2/table3'，使用"/"作分隔符），或者以自然命名访问（例如file.root.subgroup2.table3）。

并非文件中的所有数据都加载到对象树中。元数据（即，描述实际数据结构的特殊数据）仅在用户希望访问时才加载。此外，实际数据直到用户请求时才读取。使用对象树（元数据），您可以检索有关磁盘上对象的信息，例如表名、标题、列名、列中的数据类型、行数，组的形状、类型码等。您还可以在树中搜索特定类型的数据，然后读取并处理这些数据。

值得注意的是，PyTables采用了元数据缓存系统，该系统延迟加载节点（即按需加载），并卸载一段时间未使用的节点。需要强调的是，节点在未被引用之后进入缓存，并且可以直接从缓存中恢复，而无需从磁盘执行反序列化过程。此功能允许以低内存消耗快速处理具有大型层次结构的文件，同时保留以前实现的对象树的所有强大浏览功能。

为了更好地理解这个对象树实体的动态特性，让我们从一个示例PyTables脚本（可以在examples/objecttree.py中找到）开始创建一个HDF5文件：

import tables as tb

class Particle(tb.IsDescription):
    identity = tb.StringCol(itemsize=22, dflt=" ", pos=0)  # character String
    idnumber = tb.Int16Col(dflt=1, pos = 1)  # short integer
    speed    = tb.Float32Col(dflt=1, pos = 2)  # single-precision

# 以写模式打开一个文件
fileh = tb.open_file("objecttree.h5", mode = "w")

# 得到HDF5根组
root = fileh.root

# 创建组
group1 = fileh.create_group(root, "group1")
group2 = fileh.create_group(root, "group2")

# 在根组中创建数组1
array1 = fileh.create_array(root, "array1", ["string", "array"], "String array")

# 分别在组1，2中创建表1，2
table1 = fileh.create_table(group1, "table1", Particle)
table2 = fileh.create_table("/group2", "table2", Particle)

# 在组1中创建最后一个表
array2 = fileh.create_array("/group1", "array2", [1,2,3,4])

# 填充表格
for table in (table1, table2):
    # Get the record object associated with the table:
    row = table.row

    # Fill the table with 10 records
    for i in range(10):
        # First, assign the values to the Particle record
        row['identity']  = f'This is particle: {i:2d}'
        row['idnumber'] = i
        row['speed']  = i * 2.

        # This injects the Record values
        row.append()

    # Flush the table buffers
    table.flush()

# Finally, close the file (this also will flush all the remaining buffers!)
fileh.close()

这个小程序创建了一个名为 objecttree.h5 的 HDF5 文件，其结构如图所示。创建文件时，对象树中的元数据会在内存中更新，而实际数据会保存到磁盘。当您关闭文件时，对象树不再可用。但是，当您重新打开此文件时，对象树将根据磁盘上的元数据在内存中重建（这是以惰性方式完成的，以便仅加载用户所需的对象），从而允许您使用它与最初创建它时的方式完全相同。

图 1：具有 2 个子组、2 个表和 1 个数组的 HDF5 示例。

在图 2 中，您可以看到读取上述 objecttree.h5 文件时创建的对象树示例（实际上，读取任何受支持的通用 HDF5 文件时总是会创建这样的对象树）。花点时间理解它是值得的，它将帮助您理解内存中 PyTables 对象的关系。

图 2：PyTables 对象树示例。

标签：文件,PyTables,HDF5,对象,树结构,保存,数组,数据
来源： https://www.cnblogs.com/jiangleads/p/15635504.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

PyTables学习 （数据保存形式，对象树结构）

PyTables的数据形式

主要特性

对象树(The Object tree)

PyTables学习（数据保存形式，对象树结构）