spring - 如何从文件名中删除数字?

标签 spring hadoop spring-xd bigdata

我使用Spring XD,并创建了以下流:

stream create --name test --definition "time | hdfs --rollover=1B --directory=/xd/test --fileName=test --overwrite=true" --deploy

流生成了许多文件。每个文件名都包含名称和附加编号,例如test-0.txt,test-1.txt,test-2.txt等。

因为我将Spring XD和Hadoop用于教育目的,所以我想节省硬盘驱动器的可用空间。因此,我想覆盖数据。可以从文件名中删除上述数字吗?

最佳答案

过渡大小1B太小,堆积了要创建的文件数。您可以根据要处理的数据来设置最佳大小,以控制创建的文件数。

有关控制属性的更多选项,请引用here

关于spring - 如何从文件名中删除数字?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39740908/

相关文章:

java - RunWith 和 ContextConfiguration 奇怪的行为

spring - getcurrentsession 中的空指针异常

scala - 从文件读取的 flatMap 结果与作为字符串传递的同一行不同

java - 如何为 Spring XD 配置 Spring InboundChannelAdapter?

java - 如何在 Spring-XD 作业中使用 shellCommandProceccesor

java - 为什么 ReentrantLock 在 SpringXD 中不起作用

mysql - 关闭与 ORMLite 和 MySql 的连接

java - 从 Oracle 中选择 UTC 日期并在 Java 中转换为 UTC

Hadoop:ClassNotFoundException - org.apache.hcatalog.rcfile.RCFileMapReduceOutputFormat

scala - Spark 作业失败,退出状态为 15