我使用 R 分析来自 IPUMS 的大型数据文件, 它发布了有关人口普查记录的复杂微观数据。 IPUMS 以 SPSS、SAS 或 STATA 文件的形式提供其提取物。为了将数据导入 R,我非常幸运地下载了 SPSS 版本并使用了“foreign”库中的 read.spss
函数:
library(foreign);
ipums <- read.spss("usa_00106.sav", to.data.frame = TRUE);
这非常有效,除了这个永久警告:
Warning message:
In `levels<-`(`*tmp*`, value = if (nl == nL) as.character(labels) else paste0(labels, :
duplicated levels in factors are deprecated
(如果有人感到英勇,我上传了压缩的 .sav 文件 here (39Mb)以及 .SPS file 和更易于阅读的 codebook 。这只是一个示例 IPUM 提取物,就像所有 IPUM 数据,不包含私有(private)信息。)
我的问题是我的数据是否受到 SPSS 文件中重复因素的影响,或者这是否是我可以在导入后修复的问题。
为了弄清楚哪个列是罪魁祸首,我写了一个小诊断:
ipums <- read.spss("usa_00106.sav", to.data.frame = TRUE);
for (name in names(ipums)) {
type <- class(ipums[[name]]);
if (type == "factor") {
print(name);
print(anyDuplicated(levels(ipums[[name]])));
}
}
此循环正确地将列 BLPD
识别为罪魁祸首。这是一个人的出生地的详细版本,在 .SPS 文件中有 536 个可能的值,由以下代码确认:
fac <- levels(ipums$BPLD)
length(fac) #536
anyDuplicated(fac) #153
fac[153] #"Br. Virgin Islands, ns"
当我查看 .SPS 文件时,我确实看到该位置有两个条目:
26052 "Br. Virgin Islands, ns"
26069 "Br. Virgin Islands, ns"
但是,我没有在数据中看到该位置的单个实例:
NROW(subset(ipums, ipums$BPLD=="Br. Virgin Islands, ns")) #0
这很可能是因为这不是可能出现在数据中的常见位置,但我不能假设在未来的项目中总是如此。 因此,我的问题的第二部分是,具有重复因子的 SPSS 文件是否至少会重视正确的值,或者生成此警告消息的文件是否可能已损坏。
至于解决问题,我看到了一些相关的 StackOverflow 帖子,例如 this one ,但我不确定他们是否解决了我遇到的来自第三方的复杂公共(public)数据的问题。清理具有重复值的因子以便我对数据充满信心的最有效方法是什么?
最佳答案
SPSS 不要求值标签的唯一性。在这个数据集中,BLPD 是一个字符串。我相信 read.spss 会创建一个具有重复级别的因子,但会将所有重复值分配给其中一个。您可以在读取数据后使用 droplevels() 来摆脱未使用的级别。
关于r - 如何诊断 R 导入中的重复级别,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40987639/