因此,我收集了一组存储在HDFS中的文件,文件名中包含唯一键。我在具有相同唯一键的HIVE表中有一个记录表。
我将如何向其他用户提供文件访问权限?我可能需要限制对某些用户的访问。
我正在考虑提供对配置单元表中文件的引用。
我还可以查看用于搜索下载文件的某种Web界面。
最佳答案
每次执行查询时,Hive都会启动一个(或多个)MapReduce作业。通过设置和拆除MapReduce作业而引入的延迟超过了Web界面预期的响应性可接受的任何标准。
我建议您将文件的元数据保留在关系数据库中。您将必须有一个关系数据库(例如PostgreSQL)来存储Hive元数据。我肯定希望您不要为此使用默认的Derby!
关于hadoop - 提供对Hadoop中非结构化文件的访问,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18101932/