标签：python corruption h5py

我正在使用h5py将实验数据存储在HDF5容器中.

在交互式会话中,我使用以下命令打开文件：

measurement_data = h5py.File('example.hdf5', 'a')

然后我使用一些自编写的函数将数据写入文件(可以在几天的实验中获得数GB的数据).在实验结束时,我通常会使用关闭文件

measurement_data.close()

不幸的是,不时发生这种情况,交互式会话结束时没有明确关闭文件(意外杀死会话,停电,因某些其他软件导致操作系统崩溃).这总是会导致文件损坏并丢失完整数据.当我尝试打开它时,我收到错误：

OSError: Unable to open file (File signature not found)

我也无法在HDFview或我试过的任何其他软件中打开文件.

>有没有办法避免损坏的文件,即使它没有明确关闭？我已经阅读了有关使用with语句here的内容,但是当会话意外结束时,我不确定这是否会有所帮助.
>我可以以某种方式恢复损坏文件中的数据吗？有修复程序吗？

始终为每次写入访问打开和关闭文件对我来说都是非常不利的,因为我不断地从许多不同的函数和线程中写入数据.所以我对另一种解决方案更满意.

解决方法:

HDF5设计人员已知腐败问题.他们正在努力在版本1.10到adding journalling之前修复此问题.与此同时,您可以定期调用flush()以确保您的写入已被刷新,这应该最大限度地减少一些损害.您也可以尝试使用external links,它允许您将数据存储在单独的文件中,但在阅读时将它们链接在一起.

标签：python,corruption,h5py
来源： https://codeday.me/bug/20190528/1169885.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。