scala - 读取HDF5文件

Closed. This question needs to be more focused。它当前不接受答案。

想要改善这个问题吗？更新问题，使它仅关注editing this post的一个问题。

2年前关闭。

Improve this question

有没有一种方法可以使用Scala版本的Spark读取HDF5文件？

看起来可以在Python中完成(通过Pyspark)，但是我找不到Scala的任何东西。

最佳答案

HDF5没有Hadoop InputFormat实现，因为它无法任意拆分:

Breaking the container into blocks is a bit like taking an axe and chopping it to pieces, severing blindly the content and the smart wiring in the process. The result is a mess, because there's no alignment or correlation between HDFS block boundaries and the internal HDF5 cargo layout or container support structure. Reference

同一站点讨论了将HDF5文件转换为Avro文件的可能性，从而使它们可以被Hadoop/Spark读取，但是您提到的PySpark示例可能是更简单的方法，但是如链接文档所述，有一个为了有效地使用Hadoop/Spark中的HDF5文档，需要解决的许多技术挑战。

关于scala - 读取HDF5文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28565970/

上一篇：sublimetext3 - Sublime 中的 Smalltalk 语法高亮显示？

下一篇：react-native - react native 图像位置

python - 在 HDF5 C++ api 中使用 GZIP 压缩时，是否默认启用自动分块？

shell - 是否有 .irbrc 的 Scala 版本或其他定义一些默认库供 REPL 使用的方法？

scala - Stream#filter 耗尽了 1,000,000 个项目的内存

java - 关于 Intellij IDEA 与 scala 的问题

hadoop - 在 yarn 中启动/停止 Spark 流作业的正确方法是什么？

azure - 如何将脚本操作添加到 Azure HD Insight 群集

java - 为什么我的自定义函数的调用方法中的 println 语句没有出现在日志中？

python - 使用 Python 删除 HDF 存储中的键/表

python - 如何将 Pandas DataFrame 存储为 HDF5 PyTables 表(或 CArray、EArray 等)？