database - 使用 hdf5 进行深度学习的计算优势

标签 database deep-learning storage hdf5

在某些情况下,hdf5 存储格式用于深度学习。 hdf5对于共享数据的好处就可以理解了。但是,我可以期望在使用 hd5f 而不是连接帧的图像进行训练时获得效率吗?

如果共享不是我最关心的问题,那么我有什么理由应该使用 hdf5?

编辑: 我浏览了各种页面,例如 HDF5 用户指南和常见问题解答以及其他博客文章。我发现 hdf5 主要是一种通用存储格式。我找不到他们在我关心的情况下讨论有关效率的细节。

最佳答案

我处理过图像、视频、录音、文本,甚至 3D MRI。我从未遇到过数据读取速度成为管道瓶颈的情况。

但是,将数据集存储在 hdf5 等中的一个优点是,初始加载到内存比单独读取数千个文件要快得多。我通常使用云服务来同步数据,一个大文件也比一百万个小文件方便得多。

除此之外,我想不出使用 hdf5 的效率优势。

关于database - 使用 hdf5 进行深度学习的计算优势,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47799991/

相关文章:

mysql - UPDATE row ON UPDATE 触发器,多表条件

c - 使用c编程创建数据库

java文件移动高性能

machine-learning - 强化学习文献中的 "soft"是什么意思?

安卓 : How to store recorded audio inside SD-card

Silverlight 将 byte[] 转换为图像的字符串

mysql - 一个客户有多个可能的物理地址,如何设计数据库模式?

asp.net-mvc - 如何防止在不做种的情况下重新创建我的数据库?

python-3.x - 如何计算二值图像中 Blob 的实例(白色 Blob 和黑色作为背景色)

machine-learning - 如何为我的全连接神经网络找到合适的架构?