c++ - 从 HDFS 读取和打印文本文件

标签 c++ hadoop

我有这个短代码,它使用 libhdfs 从 Hadoop 文件系统 (HDFS) 上的文本文件中读取字节。 .它编译并工作正常。我现在正在尝试更改代码,以便我也可以读取文本文件的内容。

以下是我现在拥有的用于从 HDFS 打印文本文件的代码:

#include "jni.h"
#include "hdfs.h"
#include "string.h"
#include "stdlib.h"

int
main(int argc, char **argv)
{
  int MAXBUFLEN = 1024;

  hdfsFS fs = hdfsConnect("default", 0);
  const char* readPath = "/tmp/testfile.txt";
  hdfsFile readFile = hdfsOpenFile(fs, readPath, O_RDONLY, 0, 0, 0);
  if(!readFile) {
    fprintf(stderr, "Failed to open %s for writing!\n", readPath);
    exit(-1);
  }
  char buffer[MAXBUFLEN+1];

  int bytes = hdfsRead(fs, readFile, buffer, strlen(buffer));
  buffer[MAXBUFLEN] = '\0';
  hdfsCloseFile(fs, readFile);
  return 0;
}

最佳答案

你应该这样初始化你的缓冲区:

char buffer[MAXBUFLEN+1] = {};

然后将最大缓冲区长度(不要使用strlen)传递给读取函数:

int bytes = hdfsRead(fs, readFile, buffer, MAXBUFLEN);

不需要这一行:

buffer[MAXBUFLEN] = '\0';

因为缓冲区已正确初始化。然后,您可以将整个缓冲区输出为 C 字符串:

std::cout << buffer << std::endl;

字符串长度,现在,应该等于读取的字节数:

assert(strlen(buffer)==bytes);

关于c++ - 从 HDFS 读取和打印文本文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48043532/

相关文章:

c++ - 如何将 map<string, map<int, int>> 的内容打印到 cout 中?

c++ - 错误 Windows header 需要 winnt.h 上的默认打包选项

c++ - 我尝试创建临时对象的方式是否有任何错误

scala - 使用ReduceByKey 对值列表进行分组

azure - hive中如何将数据插入到单个文件中

c++ - 如何获得指向编译器选择的重载函数的函数指针?

c++ - 更改程序中的访问说明符是否会改变程序的行为?

hadoop - `hadoop jar`将在NameNode或DataNode上执行吗?

Hadoop:拆分元数据大小超过 10000000

Hadoop依赖于两个不同版本的beanutils