hadoop - 使用Pig分析日志文件

标签 hadoop apache-pig

我是Pig Latin的新手,我需要分析日志文件以检查错误日志和警告日志。
怎么做 ?查找错误和警告的脚本是什么?

最佳答案

您首先需要使用LOAD-将文件的每一行作为字符串,然后从每一行应用并提取正则表达式模式,然后是FILTER以获取错误和警告。
不过,Elasticsearch更常用于日志分析,而不是Hadoop工具。

关于hadoop - 使用Pig分析日志文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62741244/

相关文章:

apache-pig - 'group as' 在 Pig 中是如何工作的?

python - 如果多次使用 RDD 是否需要缓存?

hadoop - 如何将一组文本作为一个整体映射到一个节点?

python - PySpark作业抛出IOError

hadoop - pig :Relation and Schema name confusion

hadoop - 错误 org.apache.pig.tools.grunt.Grunt - 错误 2998 : Unhandled internal error. org/apache/hadoop/hbase/filter/WritableByteArrayComparable

当文件格式为自定义格式时,Hadoop MultipleOutputs 不会写入多个文件

hadoop - 不正确的 HDFS 文件 URL

hadoop - Pig 的 UDF 中存在 "in"会导致问题

hadoop - Pig 在空集中生成结果