java - 结合 Java、Python、PyTables 和 HDF5 的简单有效的解决方案

Question

我是 Python、PyTables 和 HDF5 的新手。我正在为我的问题寻找简单且最佳的解决方案。

接下来就是问题了。一方面，我有许多带有数据的 XML 文件。我只是想解析这些文件并将数据放入另一侧的 hdf5 文件中。稍后，我将通过一些搜索条件使用此数据。为什么使用 HDF5？因为需要放置大量数据集并且因为速度。使用 RDBMS 会在 JOIN 操作期间产生性能问题。解决方案必须提供速度和良好的内存性能。

经过一番谷歌搜索后，我发现 Python 和 PyTables 作为可能的解决方案。我的想法是用 Java 解析 XML 中的数据(此代码必须用 Java 编写)，然后编写 python 脚本，使用 PyTables API 将数据插入 hdf5 并从 Java 执行 python 脚本。所以，我正在从 Java 程序编写和执行 python 脚本。为了在 Java 中编写 python 脚本，我使用 java.io.* 包并在 Java 中执行 Process 类。例如:

p.exec("cmd /c C:\MyScripts\myscript.py")

我不知道这个解决方案好不好。对我来说，使用 java.io.* 从 Java 编写脚本并不酷。也许，我稍后会在从脚本读取结果时遇到问题(当我使用 Python 脚本和 PyTables API 制定一些搜索条件时)。

所以，我对我的问题没什么疑问。在一侧解析 XML 数据和在另一侧将数据存储在 hdf5 中之间的最佳解决方案是什么？我使用这个解决方案是否正确(从 Java 代码编写和执行 python 脚本)？ Python 和 PyTables 怎么样？这些技术可以很好地解决我的问题吗？我还阅读了一些有关 Jython 的内容，但我不知道是否可以将其与 PyTables 结合起来？

欢迎专业人士提出意见和建议。谢谢你的帮助。

Answer 1

For me is not cool writing scripts from Java using java.io.*.

同样——您已经将 XML 中的数据解析为 Java 中的某种内部表示形式，然后将这些数据重新写入 Python 脚本中，然后 Python 解释器会将数据重新解析为内部表示形式。用于写入 HDF5 文件的表示形式。它将 Java XML 解析接口(interface)、XML 数据格式和用于操作 HDF5 文件的 Python API 结合在一起，这听起来比应有的要多。 (您真的想要突破javac只是为了更新重命名的Python包吗？)

我认为值得再退一步看看问题的两个步骤:

• 解析 XML
• 写入 HDF5

没有理由在这些语言之间存在两种语言——我会完全使用 Java 或完全使用 Python。无论您选择哪种语言，最终结果都将在更多系统上以更少的内存运行得更快，并且更易于维护。