java - Kafka 到 S3 - 如何将切片从 kafka 加载到 S3

标签 java scala amazon-s3 apache-spark apache-kafka

我不清楚是否有某种插件可以使用来自 kafka 主题的数据并将它们插入到 S3。

我已经找到了这个topic , 但我还不能解决这个问题,有这个 project , 但老实说很难用,因为最后一次提交是 2 年前的。

对我来说,它的主要目标是直接从 kafka 消费以激发工作,但我认为这可能有点复杂,所以如果可以用来自 kafka 的事件片段填充 S3 对我来说就足够了。

此外,scala中有任何消费者示例吗?这有点有趣,因为 kafka 是用 scala 构建的,但文档代码是 java。 =p

感谢任何帮助

更新:

Camus也可能是一个选择

最佳答案

pinterest 的这个工具对我来说是完美的答案。

Secor

关于java - Kafka 到 S3 - 如何将切片从 kafka 加载到 S3,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25120893/

相关文章:

algorithm - 简单循环太慢

scala - 玩 2.6 Action 生成器

django - 在 S3 存储桶 CORS 配置中不允许使用 xml 而是要求使用 json

python - 使用 python 获取 s3 存储桶时出现问题

java - 如何在 Java 中执行 Oracle PLSQL block

Java Hibernate EntityManager merge() 总是想为所有字段插入空值

java - Pax Web中的 jetty 错误处理程序注册错误

java - SSL 通信中的 Apache CXF 异常 : SocketTimeOut

scala - 如何在 Scala 中使用 java.nio.file.Files.walkFileTree

amazon-web-services - S3 选择 CSV header