在某些情况下,hdf5 存储格式用于深度学习。 hdf5对于共享数据的好处就可以理解了。但是,我可以期望在使用 hd5f 而不是连接帧的图像进行训练时获得效率吗?
如果共享不是我最关心的问题,那么我有什么理由应该使用 hdf5?
编辑: 我浏览了各种页面,例如 HDF5 用户指南和常见问题解答以及其他博客文章。我发现 hdf5 主要是一种通用存储格式。我找不到他们在我关心的情况下讨论有关效率的细节。
最佳答案
我处理过图像、视频、录音、文本,甚至 3D MRI。我从未遇到过数据读取速度成为管道瓶颈的情况。
但是,将数据集存储在 hdf5 等中的一个优点是,初始加载到内存比单独读取数千个文件要快得多。我通常使用云服务来同步数据,一个大文件也比一百万个小文件方便得多。
除此之外,我想不出使用 hdf5 的效率优势。
关于database - 使用 hdf5 进行深度学习的计算优势,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47799991/