这似乎是一个非常基本的问题,但我似乎无法在任何地方找到答案。一般来说,我对 SVM 和 ML 很陌生,正在尝试做一些简单的练习,但结果似乎并不匹配。我将 e1071 与 R 结合使用,并阅读了 James、Witten、Hastie 和 Tibshirani 撰写的统计学习简介。
我的问题:为什么当我使用预测时,我似乎没有任何分类错误,但调整函数的结果表明错误率非零? 我的代码(我正在查看三个类):
set.seed(4)
dat <- data.frame(pop = rnorm(900, c(0,3,6), 1), strat = factor(rep(c(0,1,2), times=300)))
ind <- sample(1:900)
train <- dat[ind[1:600],]
test <- dat[ind[601:900],]
tune1 <- tune(svm, train.x=train[,1], train.y=train[,2], kernel="radial", ranges=list(cost=10^(-1:2), gamma=c(.5,1,2)))
svm.tuned <- svm(train[,2]~., data=train, kernel = "radial", cost=10, gamma=1) # I just entered the optimal cost and gamma values returned by tune
test.pred <- predict(svm.tuned, newdata=data.frame(pop=test[,1],strat=test[,2]))
因此,当我查看 test.pred 时,我发现每个值都与真实的类标签相匹配。然而,当我调整模型时,它给出的错误率约为 0.06,无论哪种方式,对于不可分离的数据,测试错误率为 0 似乎都是荒谬的(除非我错误地认为这是不可分离的?)。任何澄清都会非常有帮助。 非常感谢。
最佳答案
tune
函数执行 10 次交叉验证。它随机将您的训练数据分成 10 个部分,然后迭代:
- 选择其中每一个并将其称为“验证集”
- 选择剩余的 9 个并将其称为“训练集”
- 它在训练集上使用给定参数训练 SVM,并检查它在验证集上的运行情况
- 计算这 10 个“折叠”的平均误差
来自“tune”功能的信息就是这个平均误差。选择最佳参数后,您将在整个集上训练模型,该集比用于调整的参数大 1/9。因此,在您的特定情况下(这种情况并不经常发生) - 您得到的分类器完美地预测了您的“测试”集,并且在调整时尝试了一些较小的分类器 - 犯了一个小错误 - 这就是为什么您将获得有关不同错误的信息。
更新
看来,您实际上也在输入和标签上训练模型。看看您的
svm.tuned$SV
变量,保存支持向量。
要训练 svm,只需运行
svm(x,y,kernel="...",...)
例如
svm(train$pop, train$strat, kernel="linear" )
这会导致一些错误分类(正如预期的那样,因为线性内核无法完美分离此类数据)。
或者使用您的符号
svm.tuned <- svm(strat~., data=train, kernel = "radial", cost=10, gamma=1)
请注意,您应该使用框架列的名称strat,而不是索引。
关于r - e1071 : test error rate doesn't match up with tune's results 的基本 SVM 问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18675300/