python - 没有特定字符的压缩数据的 Ascii 表示

标签 python hadoop hadoop-streaming

我想使用 Python 使用 Hadoop 处理大量腌制数据。我想要做的是将我的数据表示为某个键(文件 ID),并将压缩的泡菜表示为大文件中的值。

如果我只是尝试将二进制代码作为 ascii 放入我想用 hadoop 处理的文件中,我会得到很多 '\t' 和 '\n' 值,它们会干扰 hadoop 文件的(键、值)结构。

我的问题是:如何使用 python 压缩一些数据并将其表示为 ascii 文件中的字符串,避免使用某些字符(例如 '\t' 和 '\n')?

或者也许我的方法本质上是无效的?

我真的很感激任何帮助!

最佳答案

您可以将腌制对象转换为 base64使用 base64模块。

关于python - 没有特定字符的压缩数据的 Ascii 表示,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12079226/

相关文章:

python - 如何删除树莓派的相机预览

hadoop编译

java - Hadoop hdfs 显示 ls : `/home/hduser/input/' : No such file or directory error

hadoop - Elastic MapReduce 的 Post hook

hadoop - Hadoop MapReduce-访问丢失的数据

python - 在不使用数据库软件的情况下从表中获取项目列表

python - python 代码没有显示所需的输出,问题出在哪里?

hadoop - 如何在 Hive 中找到最近的邻居?有开窗功能吗?

带有未安装在数据节点上的导入包的 Python Hadoop 流式传输

python - 根据条件选择行并从向量中设置值