scala - Slick 3 - upsert 工作太慢

Question

我使用流动代码 upsert列表items

case class Item(id: String, text: String)

class Items(tag: Tag) extends Table[Item](tag, "items"){
    ...
}

val tbl = TableQuery[Items]

def insertItems(items: List[Item]):Future[Int] = {
    val q = DBIO.sequence(items.map(tbl.insertOrUpdate).toSeq).map(_.sum)
    db.run(q)
}

对于 items长度为 2000 的列表，upsert需要大约 10 秒。它太长了...

我认为，大部分时间都需要编译查询。

我应该如何重写 insertItems用于加速吗？

Answer 1

使用 compiled queries ( docs )。 AFAIK，插入的编译查询在 slick 2.0 之后可用。

另外，要插入一个列表，您应该进行批量操作，而不是一条一条地插入一条记录。

因此，在 Slick-3.0 中，对于插入，您应该执行以下操作:

val tblCompiled = Compiled(TableQuery[Items])
tblCompiled ++= items

然后运行另一个查询以获取所需列的总和。

编辑:我不认为，slick 支持批量 insertOrUpdate 语句。如果底层数据库支持批量 insertOrUpdate，最快的方法是编写纯 SQL。否则编译 insertOrUpdate查询应该相当快。

代码应该是这样的

items.map(tblCompiled.insertOrUpdate)