json - nginx日志解析工具

标签 json mongodb nginx hive hdfs

我计划将网页请求的请求日志从 mongo 迁移到 nginx 日志。是否有一些解析器/工具可用于解析日志并可能转换为 JSON 以使它们看起来更有意义,以便我可以查询它们?

当前的 mongo 日志格式:

{ "_id" : ObjectId("4f911646e4b00a6b7b103c77"), "mUpdatedAt" : NumberLong("1334908486975"), "playerError" : "", "playerState" : "paused", "requestUuid" : "d2c8c8aa-aeab-4f87-8db0-ed699ba19249" }

Nginx 日志格式:

115.249.242.17 - - [18/May/2012:05:40:49 +0000] "GET /flashlayer?videoId=NaN&duration=26.091&videoLoadTime=216&videoBitRate=1708 HTTP/1.1" 200 86 "-" "Mozilla/5.0 (Windows NT 6.1; rv:12.0) Gecko/20100101 Firefox/12.0"

我能够在 mongoDB 上查询,我也想对 nginx 日志进行查询,为此我需要一个简单的解析器来读取 nginx 日志并将其转换为 JSON、CSV 或将其放入 hive、HDFS 中。

谢谢

最佳答案

也许将您的 nginx 日志格式配置为更像 JSON 会是更好的解决方案。 http://nginx.org/r/log_format

关于json - nginx日志解析工具,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10647920/

相关文章:

node.js - 从 mongoose 数据库获取模型

mongodb - spring data mongo db ldap认证

json - 下载集合并导入到 mongo

nginx - 如何在openresty中更改body_filter_by_lua*中的内容长度

node.js - 502 Bad Gateway 在 Elastic Beanstalk 上部署 Express Generator 模板

java - 无法显示Json数据

asp.net-mvc - 自定义模型绑定(bind)器不验证模型

php - 如何从 MYSQL PHP 解码 JSON

javascript - 将 JSON 传递到循环中

reactjs - 无法通过nginx公开前端React应用程序和后端Fast API应用程序,只有其中之一可以工作