sql-server - R:使用 ODBC 和 SQL Server 读取性能非常慢

标签 sql-server r database performance rodbc

我是 R 的新手,但有兴趣使用 Shiny 使用存储在 SQL Server 数据库中的数据创建动态图表。为了实现交互性,我想从数据库中引入原始数据并在 R 中执行计算,而不是让数据库汇总数据。

我能够使用 RODBC 连接到数据库,执行查询,并在 data.frame 中接收结果。但是,R 中的读取时间比在 SQL Server Management Studio (SSMS) 中执行的相同查询长约 12 倍。 SSMS 大约需要 600 毫秒,而 R 大约需要 7.6 秒。我的问题是我是否做错了什么,或者 R 只是在数据库访问方面真的很慢?如果是这样,是否有更快的替代方案(例如,将数据库输出写入文件并读取文件)?

有关查询的一些信息可能会有所帮助:查询检索大约 250K 行和 4 列。第一列是日期,其他三列是数值。运行 R 和 SSMS 的机器是具有 32GB 内存的高端 Win 7 工作站。我正在运行的 R 命令是:

system.time(df <- sqlQuery(cn, query))

返回:

user  system elapsed
7.17   0.01   7.58

有趣的是,从 SQL 到我的机器的数据传输似乎很快,但是 R 在返回 data.frame 之前忙于内部处理几秒钟.我之所以看到这一点,是因为网络利用率在第一秒达到峰值,几乎立即返回到接近 0。然后几秒钟后,R data.frame 返回。

最佳答案

我会试试 RJDBC http://cran.r-project.org/web/packages/RJDBC/RJDBC.pdf

使用这些驱动程序 https://msdn.microsoft.com/en-us/sqlserver/aa937724.aspx

library(RJDBC)
drv <- JDBC("com.microsoft.sqlserver.jdbc.SQLServerDriver","/sqljdbc4.jar") 
con <- dbConnect(drv, "jdbc:sqlserver://server.location", "username", "password")
dbGetQuery(con, "select column_name from table")

关于sql-server - R:使用 ODBC 和 SQL Server 读取性能非常慢,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30943748/

相关文章:

sql - SQL Server 中 except 的替代

r - 如何扩展 ggplot y 轴限制以包括最大值

r - 如何在 R data.table 中检索按行最大值的列?

android.database.sqlite.SQLiteException : no such column: personname: , 同时编译 : SELECT id, personname FROM numbersTable

database - 在 UI 级别处理唯一约束冲突的最佳实践

sql-server - 从 SQL Server 2005 中的日期时间减去分钟

sql-server - 等号 (=) 和 IN 与子查询的区别

sql - 如何在子触发器中访问父表的已删除行

r - 使用 R 将列名插入其值

asp.net - 编码练习 : how to avoid hard coding?