hadoop - 提供对Hadoop中非结构化文件的访问

标签 hadoop hive hdfs

因此,我收集了一组存储在HDFS中的文件,文件名中包含唯一键。我在具有相同唯一键的HIVE表中有一个记录表。

我将如何向其他用户提供文件访问权限?我可能需要限制对某些用户的访问。

我正在考虑提供对配置单元表中文件的引用。

我还可以查看用于搜索下载文件的某种Web界面。

最佳答案

每次执行查询时,Hive都会启动一个(或多个)MapReduce作业。通过设置和拆除MapReduce作业而引入的延迟超过了Web界面预期的响应性可接受的任何标准。

我建议您将文件的元数据保留在关系数据库中。您将必须有一个关系数据库(例如PostgreSQL)来存储Hive元数据。我肯定希望您不要为此使用默认的Derby!

关于hadoop - 提供对Hadoop中非结构化文件的访问,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18101932/

相关文章:

hadoop - 针对 HAVING 和 Distinct 的 HIVE 查询

java.lang.OutOfMemoryError : Java heap space at java. util.Arrays.copyOf(Arrays.java:3236)

sql - 如何找到月份之间的差异

hadoop - 实现预期输出所需的 talend 组件

hadoop - 如何在变量中获取配置单元输出?

hadoop - 在 MapReduce 作业中先运行 Combiner 或 Partitioner

sql - 提高 apache 配置单元的性能

hadoop - Hive数据库或表无法创建,我刚刚配置了centOS 6.4 VM并安装了Hive

hadoop - 作业运行期间可以更改 HDFS block 大小吗?自定义拆分和变体大小

hadoop - 多个dfs.data.dir时如何将数据复制到HDFS