我正在尝试对一张大表(约9400万行,3列)进行一些基本计算,这些表需要使用R中的ff等程序包。但是,我在使用此程序包时遇到了麻烦,内存不足,尽管我知道我的计算机有能力胜任这一工作。我在下面包括了我的硬件/软件规范,以及似乎没有正确使用ff软件包的代码。我已经花了100多个小时阅读每个ff软件包中提及任何内容的pdf,ppt和网站,而且我还没有发现任何可以清楚地说明如何使用ff的内容(至少对于像我这样的业余爱好者而言)。任何对我做错事的帮助将不胜感激。当我计算大约110万行时,此逻辑似乎有效,但此后似乎超出了范围。
我还尝试将“for”循环分解为总大小的1/200;在循环的每一遍中为现有的ShortPrice和LongPrice ff文件创建新的ff对象,然后在每一遍的末尾添加rm()和gc()。在开始时通过read.table.ffdf为每列创建ff文件时,由于某种原因,当尝试使用vmode =“quad”,“integer”为现有TradePosition ff文件创建新的ff对象时,我失去了TradePosition值”或“原始”。
硬件/软件规范:
数据/表:
代码:
library(ff)
options("fftempdir"="/Users/neil/Code/","ffbatchbytes"=20*getOption("ffbatchbytes"),"ffmaxbytes"=8*getOption("ffmaxbytes"),"ffpagesize"=1000*65536,"ffcaching"="mmnoflush")
ffdfTrades <- read.table.ffdf(file="/Users/neil/Code/Trades.txt",nrows=DatasetLength,FUN="read.table",header=TRUE,sep=";",quote="",colClasses=c("factor","numeric","numeric"),comment.char="")
Transactions <- c(rep(0,DatasetLength))
dataindex <- 1
for (dataindex in seq(1,DatasetLength-1,1)) {
if (ffdfTrades$TradePosition[dataindex]!=ffdfTrades$TradePosition[dataindex+1]) {
if (ffdfTrades$TradePosition[dataindex+1]=="Short") {
if (ffdfTrades$TradePosition[dataindex]=="Long") {
Transactions[dataindex+1] <- -2*ffdfTrades$ShortPrice[dataindex+1]
}
else {
Transactions[dataindex+1] <- -1*ffdfTrades$ShortPrice[dataindex+1]
}
}
else {
if (ffdfTrades$TradePosition[dataindex+1]=="Long") {
if (ffdfTrades$TradePosition[dataindex]=="Short") {
Transactions[dataindex+1] <- 2*ffdfTrades$LongPrice[dataindex+1]
}
else {
Transactions[dataindex+1] <- 1*ffdfTrades$LongPrice[dataindex+1]
}
}
}
}
message(paste("Row ",dataindex," done.",sep=""))
dataindex <- dataindex + 1
}
最佳答案
首先说明:如果您具有16Gb RAM,则运行32位版本的R是很可惜的,为什么不充分使用64位版本的R?
对于您的问题:您没有像Henrico所指出的那样适本地使用ff或R。循环遍历R中的每一行只是做事的方式,不在ff中,不在基R中。您需要向量化代码。我建议您遵循R类(class),该类(class)与处理大数据无关,但与R数据处理的基本概念有关。
除此之外,这是您在ffbase中使用ffbase软件包中的一些其他实用程序所要查找的内容。标记为我没有看您对使用Long/Long和乘法的确切说明,但是可以根据需要更改ffifelse,就像在R的基本程序包中使用普通ifelse一样。
尝试ff祝您好运。
size <- 1000000
trades <- data.frame(TradePosition = factor(sample(c("0","Short","Long"), size, replace=TRUE)), ShortPrice = rnorm(size), LongPrice = rnorm(size))
write.table(trades, file = "Trades.txt", sep=";", row.names=FALSE)
require(ff)
require(ffbase)
trades <- read.table.ffdf(file="Trades.txt", sep=";", header=TRUE, colClasses=c("factor","numeric","numeric"))
idx <- cumsum(ff(1, length=nrow(trades)))
idx <- ffwhich(idx, idx < nrow(trades))
trades$previousposition <- c(ff(factor(NA)), trades$TradePosition[idx])
yourmultiplier <- 2
yourothermultiplier <- -1
trades$transactions <- ffifelse(trades$TradePosition == "Long",
ffifelse(trades$previousposition == "Short", yourmultiplier*trades$ShortPrice, trades$ShortPrice),
ffifelse(trades$previousposition == "Long", yourothermultiplier*trades$LongPrice, trades$LongPrice))
关于r - 如何在大型数据集的简单 'for'循环中使用ff包,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14074473/