c# - 使用 Entity Framework，Nop Commerce 产品导入变得更慢并且随着时间的推移使用更多内存

Question

我需要将大约 150,000 种产品及其类别、制造商、图像和属性导入 Nop Commerce。我写了一个基于 Nop.Services.ExportImport.ImportManager 的插件。导入的产品越多，导入过程运行的越慢。前 100 个产品将在 1.5 分钟内导入。大约 2500 种产品需要 15 到 20 分钟才能导入另外 100 种产品。一次导入超过 2500 个产品会导致内存不足异常。在 2500 停止然后进行第二次导入后，事情甚至运行得更慢。

这是插件使用的过程:

1. 创建一个新的产品实体，填充详细信息，然后使用 Nop.Services.Catalog.ProductService.InsertProduct 插入产品。有必要使用 ProductService，因为我们需要 Product.ID 的值来将子对象添加到产品中。

2. 首先搜索制造商是否存在，以添加产品制造商。如果找不到制造商，则创建制造商并使用 ManufacturerService 添加。然后添加 ProductManufactuer 实体以将产品分配给制造商。此实体已添加到列表对象。

3. 对类别、规范属性、URL 记录和产品标签执行相同的例程。

4. 下载第一张图片并使用 PictureService 添加。 PictureService 向数据库中插入一个 Picture 实体，然后将图像保存到 images 目录中。然后创建 ProductPicture 实体并将其添加到列表中。

5. 每 100 个产品，我使用 SQLBulkCopy/EFBulkInsert 将 ProductManufacturers、ProductCategories、ProductImages 等列表插入到数据库中。然后我清除列表并重新开始。

所以在整个过程中，我们都在使用 Entity Framework 将产品、类别、制造商、产品标签和规范属性一一添加到数据库中。这是必要的，因为我们需要获取这些项目的 ID，以便我们可以通过将记录插入映射表来将它们分配给产品。添加到映射表中的记录可以添加到列表中，然后使用 SQLBulkCopy/EFBulkInsert 批量插入到数据库中。

每次添加产品及其属性时，整个过程都会变得越来越慢。随着时间的推移，它似乎也使用越来越多的内存。我不确定下一步该怎么做。

我不确定是不是 Entity Framework 导致了这个问题。我读到 Entity Framework 会随着时间的推移使用越来越多的内存，并且每隔一段时间重置 DBContext 是个好主意。问题在于 Nop 通过 Nop.Data 中的 EFRepository 层管理 DBContext。

使用 EFBulkInsert/SQLBulkCopy 将产品属性映射记录添加到数据库似乎可以加快速度。我考虑过可能会通过并使用它来首先插入所有产品，然后再次返回并导入属性。我仍然会遇到无法将图片实体批量导入数据库的问题，因为我需要 PictureID 加上 ProductID 才能将图片与产品相关联。

我也曾考虑过使用 ADO.NET 和存储过程来进行一个接一个的插入，但不确定这是否会有所改善。有没有人有什么建议？

Answer 1

我是 EFUtilities 的作者 https://github.com/MikaelEliasson/EntityFramework.Utilities除其他外，它会进行批量插入。对于下一个版本，它将能够从批量插入中返回商店生成的 ID。

目前正在运行，但尚未发布。我希望在本周末或下周末发布。同时，您可以在此处找到它的代码 https://github.com/MikaelEliasson/EntityFramework.Utilities/blob/release20/EntityFramework.Utilities/EntityFramework.Utilities/SqlQueryProvider.cs#L56如果您下载并构建 release20 分支，您应该可以使用它。

这是显示如何启用 Id 返回的测试(它有点慢，所以默认禁用)https://github.com/MikaelEliasson/EntityFramework.Utilities/blob/release20/EntityFramework.Utilities/Tests/InsertTests.cs#L125

using (var db = Context.Sql())
{
     EFBatchOperation.For(db, db.BlogPosts).InsertAll(list, new BulkSettings
            {
                ReturnIdsOnInsert = true,
            });
}