python - 在 python 中运行 hdfs dfsadmin 命令

标签 python hadoop hdfs

看着 snakebite,它是一个很棒的 python 包,用于运行 hadoop fs 命令集

我需要从 python 中运行 hadoop dfsadmin 命令集。编写需要运行命令的工具,例如 hadoop dfsadmin -reporthadoop dfsadmin -refreshNodes

那么,对于所有在 hadoop 操作任务上编写工具的优秀 python 开发人员,运行这些命令集的推荐方法是什么?

脱壳很贵,有没有其他推荐的方法/建议?

最佳答案

您可以使用 hdfs thrift 库。我不确定图书馆有多完整,但这里有一些链接。最好的选择是为 Python 引用 Clouderas Hue 库。我确实看到了 refreshNodes 的函数调用。

HDFS Thrift 页面 http://wiki.apache.org/hadoop/HDFS-APIs

HDFS 的 Cloudera Hue 库 - 这些由 Thrift 自动生成 https://github.com/cloudera/hue/tree/master/desktop/libs/hadoop/gen-py/hadoop/api/hdfs

hdfs.thrift https://github.com/cloudera/hue/blob/master/desktop/libs/hadoop/java/if/hdfs.thrift

关于python - 在 python 中运行 hdfs dfsadmin 命令,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30196884/

相关文章:

hadoop - Cloudera hadoop : not able to run Hadoop fs command and at same time HBase is not able to create directory on HDFS?

python - 让模块的用户覆盖 Python 中某些函数的适当方法

使用运行时调用 python 脚本时的 Java.Error

python - 查找哪个数组对分类贡献最大

python - “类型错误 : list indices must be integers, 不是 str”Python 3

hadoop - 尝试查找文件中具有匹配字符串的所有行,然后将结果保存到Hadoop HDFS中单独目录中的文件中

java - NoSuchMethodError : JobConf. getCredentials()

java - PIG : Cannot cast java. lang.String to org.apache.avro.util.Utf8 with AvroStorage inside STORE

java - Hadoop - 为特定节点的 Mapper 中的每个 map() 函数创建类的单个实例

hadoop - 使用 tera gen 时从 kv.local/172.20.12.168 调用 localhost :8020 failed on connection exception,