scala - 按两个单词过滤行 Spark Streaming

Question

有没有一种方法可以用一个表达式过滤包含单词“word1”或另一个“word2”的行 类似的东西:

val res = lines.filter(line => line.contains("word1" or "word2"))

因为这个表达式不起作用。

提前谢谢

Answer 1

如果 line 是一个 String 最佳选择将是正则表达式:

val pattern = "word1|word2".r

lines.filter(line => pattern.findFirstIn(line).isDefined)

否则(其他序列类型)您可以使用 Seq.exists :

lines.filter(line => Seq("foo", "bar").exists(s => line.contains(s)))

它需要一个从元素映射到 bool 值的单个值(这里(String) ⇒ Boolean)并且:

tests whether a predicate holds for at least one element of this iterable collection.