r - 如何为 R 中的主题建模(topicmodels、lda、tm)准备数据？

Question

<分区>

Answer 1

你的问题中没有代码，所以它不太适合这个网站。也就是说，这里有一些可能有用的评论。如果您提供代码，您将获得更具体和有用的答案。

1. 是的。将文本分成 block 是常见且可取的。确切的尺寸取决于品味。它通常在 R 中完成，我在制作语料库之前已经完成了。您也可以只对名词进行子集化，就像@holzben 建议的那样。下面是一些将语料库切割成 block 的代码:

   corpus_chunk <- function(x, corpus, n) {
   # convert corpus to list of character vectors
   message("converting corpus to list of vectors...")
   listofwords <- vector("list", length(corpus))
   for(i in 1:length(corpus))
     {
     listofwords[[i]] <- corpus[[i]]
     }
   message("done")
   # divide each vector into chunks of n words
   # from http://stackoverflow.com/q/16232467/1036500
   f <- function(x) 
   {
   y <- unlist(strsplit(x, " "))
   ly <- length(y)
   split(y, gl(ly%/%n+1, n, ly))
   }
   message("splitting documents into chunks...")
   listofnwords1 <- sapply(listofwords, f)
   listofnwords2 <- unlist(listofnwords1, recursive = FALSE)
   message("done")
   # append IDs to list items so we can get bibliographic data for each chunk
   lengths <- sapply(1:length(listofwords), function(i) length(listofnwords1[[i]]))
   names(listofnwords2) <- unlist(lapply(1:length(lengths), function(i)  rep(x$bibliodata$x[i], lengths[i])))
   names(listofnwords2) <- paste0(names(listofnwords2), "_", unlist(lapply(lengths,     function(x) seq(1:x))))
   return(listofnwords2)
   }   
   

2. 是的，您可能会从一些代码开始，然后返回一个更具体的问题。这就是您充分利用本网站的方式。

3. 有关文本挖掘和主题建模的基本介绍，请参阅 Matthew Jockers 的书 Text Analysis with R for Students of Literature

如果您已经对 MALLET 有点熟悉，请尝试 rmallet用于主题建模。网络上有很多使用它的代码片段，here's one of mine .