csv - 如何使用 apache NIFI 处理器重新排序 CSV 列?

标签 csv hadoop apache-nifi

在我的场景中,用户可以选择上传 CSV 文件并可以将该 CSV 文件的列映射到预定义的架构。我需要根据用户映射重新排序该 CSV 文件的列并将其上传到 HDFS。有什么办法可以通过 NIFI 处理器来实现吗?

最佳答案

您可以使用 ConvertRecord 处理器完成此操作。在架构注册表( Controller 服务)中注册一个描述预期格式的 Avro 架构,并创建一个 CSVReader 实现以将此传入数据转换为通用的 Apache NiFi 内部记录格式。同样,将 CSVRecordSetWriter 与您的输出架构一起使用,以您喜欢的任何列顺序将数据写回 CSV。

有关记录处理原理和一些示例的更多信息,请参阅 Record-oriented data with NiFiApache NiFi Records and Schema Registries .

关于csv - 如何使用 apache NIFI 处理器重新排序 CSV 列?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47551772/

相关文章:

php - 如何将具有 200,00 行的巨大 CSV 文件导入 MySQL(异步且快速)?

python - 转换为 csv 时仅从 xls 第一行删除\n 个字符 Python pandas

python - 使用 python panda 按月、年计算出现频率

java - HDFS API 在尝试从中获取数据时抛出错误

java - NIFI :How to get node value using variable node name in nifi processor

mysql - 如何将带有 md5 列的 csv 导入到 mysql

hadoop - 如何处理巨大的稀疏矩阵?

hadoop - 我该如何在CDH4.7中编辑InputSplit大小?默认情况下,它是64 MB,但是我想提到它为1 MB

RabbitMQ 和 NiFi

java - NiFi ExecuteSQL 处理器字符集异常