python - 如何将 jar 添加到 bluemix spark 上的 python 笔记本?

标签 python apache-spark ipython ibm-cloud jupyter-notebook

我想将 spark jdbc 与 python 一起使用。第一步是添加一个 jar :

%AddJar http://central.maven.org/maven2/org/apache/hive/hive-jdbc/2.0.0/hive-jdbc-2.0.0.jar -f

然而,响应:

ERROR: Line magic function `%AddJar` not found.

如何在 python 脚本中添加 JDBC jar 文件?

最佳答案

目前,这仅在 python notebook 中是不可能的;但它被理解为一个重要的要求。在支持此功能之前,您可以做的是从您的 python 笔记本的同一个 spark 服务实例,创建一个 scala 笔记本并从那里创建 %AddJar。然后同一 spark 服务实例的所有 python 笔记本都可以访问它。对于从 scala nb 添加 jar 时处于事件状态的 py 笔记本,您将需要重新启动它们的内核。

请注意,这适用于 Jupyter 4+ 上的笔记本实例,但不一定适用于更早的 IPython 笔记本实例;从笔记本的“帮助”->“关于”菜单检查版本。最近创建的任何新笔记本实例都将在 Jupyter 4+ 上。

关于python - 如何将 jar 添加到 bluemix spark 上的 python 笔记本?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37661456/

相关文章:

Python矢量化,如何使用numpy获取每一行的所有索引

java - 无法以编程方式将 Spark 应用程序(使用 Cassandra 连接器)从远程客户端提交到集群

java - Spark - 在本地主机上执行时急切加载和缓存 RDD

python - 生成所有 Euler Bricks

Python dict.get() 或 None 场景

python - 我无法向电报机器人用户发送消息,但我自己

python - 在 Python 中工作但在 iPython 中不工作的多处理

python - 从rest api到pyspark数据帧的嵌套json

pandas - IPython Notebook 单元多输出

python - 导入错误 : `iplot` can only run inside an IPython Notebook