python - 是否有任何 python 或 scala 工具来连接 spark/shark

标签 python scala apache-spark shark-sql

我想用python或者scala来连接shark服务器。但是我没有找到任何工具来做到这一点。 是否有任何库(python 或 scala/java)。 感谢先进。

最佳答案

如果您想使用 Shark 运行 SQL 查询,Shark 的 sharkserver行为类似于常规的 Hive Thrift 服务器,因此您应该能够重用现有的 Python 方法来连接到 Hive,例如

Shark Server 还支持 Hive 的 JDBC interface ,因此您可以使用它从 Scala 或 Java 运行查询;只需使用 Shark 服务器的地址代替 Hive 服务器地址即可。

关于python - 是否有任何 python 或 scala 工具来连接 spark/shark,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19332034/

相关文章:

python - request.user返回一个SimpleLazyObject,我怎么 "wake"呢?

python - 如何从大多数网站获取 Twitter 链接 - Python

scala - 为什么在 Scala 2.13-M5 中隐式对象优先于 val?

scala - 计算scala spark-RDD中csv文件中的出现次数

apache-spark - 使用 Spark 读取 Azure Synapse 表

scala - 通过使用数据帧中多个其他列的值向数据帧添加新列 - spark/scala

python - python中的条件求和

arrays - Scala 中结构的快速打包数组

scala - Akka readJournalPluginId 用于 inmem 日志插件

python - numpy : can't build a 2-D array of tuples