java - 导入大型 csv 文件 spring

标签 java spring spring-batch batch-processing

到目前为止,我还没有使用过 Spring Batch,我想知道现在是否是打破僵局的时候了。

我有 10k 到 30k 行的大型 csv 文件,我需要将其导入数据库。我还需要对这些数据进行一些处理。就像检查某些字段是否存在于数据库中一样(如果不存在,则应忽略该行)。我从未使用过 Spring Batch,所以我需要花一些时间来了解它,以便我可以使用它。但我对此也有一个非常严格的截止日期。

但是这样的工作真的值得吗?因为它不像预定的工作那样每天、每周或每月完成。这将根据需要完成。也许几个月一次。

那么使用批处理是否“过度”,或者使用一些缓冲读取器逐行迭代就可以了?

最佳答案

如果这是“仅仅”10k-20k 行的一次性工作,Spring Batch 就完全是大材小用了,你最好自己编写一些更小的东西。

关于java - 导入大型 csv 文件 spring,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60933347/

相关文章:

java - SqlPagingQueryProviderFactoryBeanhaving 子句

java - 将 Java 中的 C++ DLL 与 JNA 结合使用

java - 如何从 Java 客户端启动 DataStage 作业 ETL?

java - 多对多关系的面向对象方法

java - 如何在 Spring JMS 连接工厂中配置 weblogic 重新连接策略

java - 如何使用 Spring-Batch 批量插入?

java - 如何检测命名实体

Spring-security无法匹配 "?parameter"格式?

java - Spring 注入(inject)问题

multithreading - 多线程与分区之间的 Spring 批处理差异