我希望访问 Hadoop 中的一个目录(通过 Python 流)并循环遍历它的图像文件，在我的映射器中计算每个文件的哈希值。 以下逻辑是否有意义(而不是硬编码，我可以将目录作为例如 -input 传递给 Hadoop)吗？
lotsdir= 'hdfs://localhost:54310/user/hduser/randomimages/'
import glob
path = lotsdir + '*.*'
files = glob.glob(path)
files.sort()
imagehashes={}
for fname in files:
imagehashes[fname]=pHash.imagehash( fname )
最佳答案
是的，逻辑是有道理的。
但是您很可能会遇到性能问题，因为您的输入文件不是文本格式，因此它们不会在 HDFS 上正确拆分。
希望 Hadoop 提供多种方法来解决该问题。例如，您可以:
- 将你的图像文件转换成SequenceFile并将它们存储到 HDFS 中
- 自己写InputFormat , OutputFormat和 RecordReader为了正确地分割它们
关于python - Hadoop流式访问目录中的文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/24576064/