hadoop - Apache 钻配置

Question

我需要为 Apache Drill(基本上是 PSV)添加存储插件，但我找不到可以添加以下行的配置文件:-

 "formats": {
   "psv": {
     "type": "text",
     "extensions": [
       "tbl"
     ],
     "delimiter": "|"
   }
}

请注意，当前在网络浏览器中打开本地主机 url 的解决方案是不可行的。我不想将端口和 IP 暴露给 Internet。目前，我使用双跳 ssh 来访问我的托管钻孔服务器

Answer 1

您可以发布到 Drill 的 REST API:

curl -X POST -H “Content-Type: application/json” -d ‘{ “name”:dfs, “config” {“type”: “file”, "connection": "hdfs:///", “enabled”: true, "workspaces": {"root": {"location": "/", "writable": false, "defaultInputFormat": null}}, "formats": { "psv": { "type": "text", "extensions": [ "tbl" ], "delimiter": "|" }}}’ http://localhost:8047/storage/dfs.json

您还可以创建 bootstrap-storage-plugins.json文件并在启动 Drill 时将其包含在类路径中，并且应在 Drill 启动时加载它。