r - 理解为什么线性回归没有按预期处理我的分类变量？

Question

我正在阅读有关公式和线性回归的内容，但我无法理解如何解释 lm 的输出以获取具有多个参数和分类变量的线性回归。

我想我了解如何解释简单 y = 的输出 a + bx 公式(如果我在下面说的有误，请纠正我)。

#library(tidyverse)
#library(modelr)
require(ggplot2)
require(dplyr)

diamonds2 <- diamonds %>%
  mutate(lprice = log2(price), lcarat = log2(carat))

mod <- lm(
  lprice ~ lcarat,
  data = diamonds2
)

#diamonds2 %>% modelr::add_predictions(mod, "pred_price")
diamonds2$pred_price <- predict(mod, diamonds2) # if you don't have modelr

模型(mod)是

Call:
lm(formula = lprice ~ lcarat, data = diamonds2)

Coefficients:
(Intercept)       lcarat  
     12.189        1.676  

据我了解，这意味着当我添加预测时，生成预测的公式是

pred_price = 12.189 + (1.676 * lcarat)

当我在公式中添加分类变量时，我感到很困惑

diamonds2 <- diamonds %>%
  mutate(lprice = log2(price), lcarat = log2(carat))

mod <- lm(
  lprice ~ lcarat + cut,   # I added a categorical variable here
  data = diamonds2
)

diamonds2 %>%
  add_predictions(mod, "pred_price")

现在模型是

Call:
lm(formula = lprice ~ lcarat + cut, data = diamonds2)

Coefficients:
(Intercept)       lcarat        cut.L        cut.Q        cut.C        cut^4  
   12.10711      1.69577      0.32364     -0.09583      0.07631      0.02688  

我对一些事情感到困惑。

1) diamonds$cut 有五个可能的值(fair、good、very good、premium、ideal)，那么为什么模型只显示四个切工值？

2) 据我了解，R 在线性回归方程中将分类变量视为 1 或 0，因此在评估数据行时，每个“切割”系数将乘以 1 或 0。对吗？

3) 如何根据上面给出的系数编写 y = a_0 + (a_1 * x_1) + (a_2 * x_2)...？在这种情况下这可能吗？

Answer 1

1) lm 做了一些不想要的事情，它将 diamonds$cut 变量视为有序分类而不是分类(即没有使用通常的 1/0 虚拟变量对比处理)。

最初我认为您只需要确保 lm得到一个明确的，要么写lm(formula = lprice ~ lcarat + factor(cut))或修复数据框 diamonds2$cut <- factor(diamonds2$cut) .

您期望看到分类 cut 的对比度级别. (5 级分类会给出 4 个对比(和一个截距)；请参阅文档以获取帮助(对比)。但是您没有从 lm 获得对比级别，而是获得了多项式系数。

深入探究发生这种情况的原因，我们注意到 str(cut)告诉我们cut是一个有序分类(这是罪魁祸首):

> str(diamonds$cut)
 Ord.factor w/ 5 levels "Fair"<"Good"<..: 5 4 2 4 2 3 3 3 1 3 ...

为了进一步了解 lm 这样做的原因，我查看了 help(contrast), help(lm) and help(model.matrix.default) 的页面，这让我找到了 options('contrasts') :

> getOption('contrasts')
        unordered           ordered 
"contr.treatment"      "contr.poly" 

这意味着 lm 在有序分类(如 diamonds$cut)上生成对比的默认行为是不需要的 contr.poly() .所以要么更改默认值，要么转换 cut到无序分类，或创建一个新的 var diamonds$cut <- factor(diamonds$cut, ordered=F) 两种解决方案的代码都在底部。

2) 不，如果您将 diamonds$cut 作为分类传递，就会发生这种情况。但是你得到了cut.L, .Q, .C, ^4...它们是 cut 值中(不需要的)多项式的线性、二次、三次、四次系数，它试图拟合 lcarat 的观察值(请参阅 contrasts 上的帮助，它正在调用 contr.poly 并使用 n=4水平)。这不是你想要的。

另一个线索是那些级别应该被命名 cut.Fair, cut.Good, cut.Very_Good, cut.Premium, cut.Ideal (嗯，你会从这 5 个中得到 4 个；另一个将被丢弃)。

3) 修复它以将 cut 视为(无序)因子后，您应该得到: lprice = coeff.price * lcarat + coeff.Fair * cut.Fair + coeff.Good * cut.Good + ... + coeff.Ideal * cut.Ideal

FIX/WORKAROUND 1:

# Save the old ordered-categorical, then clobber it with the unordered one so that lm() Does The Right Thing (tm)
diamonds$cut.ordered <- diamonds$cut
diamonds$cut <- factor(diamonds$cut, ordered=F)

OR ELSE FIX 2:
# Make lm treat all categoricals as unordered categoricals, even ordered ones
#options('contrasts' = c('contr.treatment','contr.treatment') )

lm(log(price) ~ log(carat) + cut, data=diamonds)

Coefficients:
 (Intercept)    log(carat)       cutGood  cutVery Good    cutPremium  
      8.2001        1.6958        0.1632        0.2408        0.2382  
    cutIdeal  
      0.3172