看着 snakebite,它是一个很棒的 python 包,用于运行 hadoop fs
命令集
我需要从 python 中运行 hadoop dfsadmin
命令集。编写需要运行命令的工具,例如 hadoop dfsadmin -report
和 hadoop dfsadmin -refreshNodes
那么,对于所有在 hadoop 操作任务上编写工具的优秀 python 开发人员,运行这些命令集的推荐方法是什么?
脱壳很贵,有没有其他推荐的方法/建议?
最佳答案
您可以使用 hdfs thrift 库。我不确定图书馆有多完整,但这里有一些链接。最好的选择是为 Python 引用 Clouderas Hue 库。我确实看到了 refreshNodes 的函数调用。
HDFS Thrift 页面 http://wiki.apache.org/hadoop/HDFS-APIs
HDFS 的 Cloudera Hue 库 - 这些由 Thrift 自动生成 https://github.com/cloudera/hue/tree/master/desktop/libs/hadoop/gen-py/hadoop/api/hdfs
hdfs.thrift https://github.com/cloudera/hue/blob/master/desktop/libs/hadoop/java/if/hdfs.thrift
关于python - 在 python 中运行 hdfs dfsadmin 命令,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30196884/