php - 使用 Laravel 读取包含 500,000 条记录的 Excel 工作表

Question

我有一张包含 50 万条记录的 Excel 工作表。该表有两列，一列是电话号码，另一列是号码所有者的姓名。

我想读取这些号码并将其提交到发送批量短信的网络服务。我想使用 laravel 队列来处理工作表。

如果我使用多个工作人员，是否可以更快地读取文件并将其内容插入数据库，以及如何确保工作人员不会重新读取其他工作人员已读取的行？

Answer 1

似乎laravel-excel包具有此功能(请参阅“排队 block ”部分)。

查看source code确认我的建议，chunk 方法创建 n(行数除以 block 大小)作业请求，其中每个作业处理文件的一部分。您唯一需要做的就是设置 eq。 redis 队列驱动程序并使用 php artisanqueue:work 命令启动一些工作程序。

手动解决方案(隐藏在上述实现下):

1. 获取文件中的行数而不读取整个内容，
2. 将行分为 n 个部分(行数除以 block 大小)，
3. 对于每个零件创建作业请求(您必须传递应由该作业处理的第一个和最后一个行号)。每个作业应该打开文件，转到指定的起始行并读取指定的行数，
4. 启动一些工作线程。