hadoop - 将日志文件kafka移动到hadoop

标签 hadoop apache-kafka apache-kafka-connect

我想将日志文件从kafka移到hdfs文件系统。
此过程使用哪些工具?我尝试过Confluent,但我无法通过Confluent成功完成此过程。我试图找到另一个工具。

最佳答案

I want to move log file from kafka to hdfs file system. Which tools are used for this process



HDFS connector for Kafka Connect效果很好,并且被广泛使用并取得了巨大的成功。

i cant success this process with confluent



如果描述所面临的实际问题可能最好。如果您遇到一种已验证技术的问题,那么切换到另一技术不一定会对您有很大帮助。

关于hadoop - 将日志文件kafka移动到hadoop,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44519748/

相关文章:

java - 是否可以使用Java将卡夫卡消费者收到的输出写入文件

在eclipse中调试hadoop

java - Spring boot Kafka类反序列化-不在可信包中

docker - 使用本地 kafka-connect 集群连接远程数据库的连接超时

hadoop - InputSplit 映射器 JobTracker 交互

hadoop - 如何自动化 Hadoop 垃圾清理

postgresql - 无法使用 Kafka 将数据从 MySQL 流式传输到 Postgres

java - 如何在 Kafka KStream 中过滤无效传入的 json 数据

amazon-s3 - Kafka Connect Distributed tasks.max 配置设置的理想值?

elasticsearch - KafkaConnect elasticSearch 文档 ID 创建