r - 在 R 中的 tm_map(testfile, removeNumbers) 中使用过滤器？

Question

我正在使用 tm_map(testfile, removeNumbers) 删除文本文件的数字。但是，我需要保留 ipv4 和 ipv6 等词附带的数字。 如何使用 removeNumbers 函数删除其他号码，但保留 ipv4 和 ipv6 附带的号码？

这是我使用的代码:

test.txt = "this is a test file with numbers 1,2 and 3.
              The internet protocals ipv4 and ipv6"

library(tm)

test <- Corpus(DirSource('C:test'), readerControl = list(reader = readPlain))
test <- tm_map(test, removeNumbers)

inspect(test[1])

输出:

$test.txt

this is a test file with numbers , and . The internet protocals ipv and ipv

Answer 1

removeNumbers 将删除任何数字。你可以这样得到它的代码:

getS3method("removeNumbers","PlainTextDocument")
function (x) 
gsub("[[:digit:]]+", "", x)

您应该创建一个新函数来删除“单独的”数字或空格后的数字。

remove_alone_nbr <- 
function (x) 
  gsub('\\s*(?<!\\B|-)\\d+(?!\\B|-)\\s*', "", x,perl=TRUE)

然后如果你测试它:

inspect(tm_map(Corpus(VectorSource(test.txt)), remove_alone_nbr))

你得到:

this is a test file with numbers,and.
              The internet protocals ipv4 and ipv6