r - 修改 cSplit_e 函数以考虑多个值

标签 r dplyr text-mining tidyr splitstackshape

我了解到“splitstackshape”中的“cSplit_e”可用于将一列下的多个值转换为具有二进制值的分隔列。我正在处理计算 tf-idf 的文本问题,并且不必在列下具有所有唯一值。例如,

docname   ftype                        doc_text
    1      mw               hello, hi, how, are, you, hello
    2      gw                       hi,yo,man
    3      mw                     woha,yo, yoman

输出(df)

   structure(list(docname = 1:3, ftype = c("mw", "gw", "mw"), doc_text = structure(1:3, .Label = c("hello, hi, how, are, you, hello", 
"hi,yo,man", "woha,yo, yoman"), class = "factor")), .Names = c("docname", 
"ftype", "doc_text"), class = "data.frame", row.names = c(NA, 
-3L))

对于上面的示例,如果我们考虑 doc-1,那么当“hello”出现两次时,cSplit_e 会将 doc_text 转换为 5 个值为“1”的独立列。有没有办法修改此函数以考虑重复值?

本质上,这就是我想要实现的目标:给定一个数据框

docname ftype doc_text 1 mw hello, hi, how, are, you, 你好 2 gw 嗨,哟,伙计 3 我 woha,yo, yoman

我想根据以“,”分隔的列值将 doc_text 转换为多列,并获取它们各自的频率。所以结果应该是

docname ftype are hello hi how man woha yo yoman you
     1   mw    1     2  1   1   0    0  0     0   1
     2   gw    0     0  1   0   1    0  1     0   0
     3   mw    0     0  0   0   0    1  1     1   0

如果有人知道如何使用“splitstackshape”或其他方式完成此操作,我将不胜感激。最终目的是计算tf-idf。

谢谢。

最佳答案

我们可以在按 'doc_text' 拆分后使用 mtabulate 执行此操作

library(qdapTools)
cbind(df[1], mtabulate(strsplit(as.character(df$doc_text), ",\\s*")))
#   docname are hello hi how man woha yo yoman you
#1       1   1     2  1   1   0    0  0     0   1
#2       2   0     0  1   0   1    0  1     0   0
#3       3   0     0  0   0   0    1  1     1   0

或者另一种选择是 tidyverse

library(tidyverse)
separate_rows(df, doc_text) %>% #split to long format
           group_by(docname, doc_text) %>% #group by variables
           tally() %>% #get the frequency
           spread(doc_text, n, fill=0) #reshape to wide

或者按照@Frank的建议

library(splitstackshape)
cSplit(df, "doc_text", ",", "long")[, dcast(.SD, docname ~ doc_text)]

关于r - 修改 cSplit_e 函数以考虑多个值,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42422078/

相关文章:

r - 当逻辑条件意味着不应评估输出时,为什么 dplyr 在此嵌套 if_else 中出错?

r - 在 dplyr 的 mutate 中应用过滤器时保持 group_by 完好无损

r - 使用 dplyr::group_by() 对每个组进行 loess 回归

elasticsearch - 如何在 Elasticsearch 中从文本中获得分数相似标签的总和

R - 如何创建重复的自定义 Ifelse 函数

r - 防止 R 自动获取已安装软件包的最新版本?

r - 使用 data.table 在单个条件下替换多列

r - 打印多行而不打印print()

java - OpenNLP 分类器版本 1.8

python-3.x - 使用 Python 与句子形式的数据关联规则