python - 如何在palantir-foundry中导入和使用Spark-Koalas

标签 python pandas pyspark palantir-foundry spark-koalas

我如何在 Palantir-foundry 中导入并使用“Koalas: pandas API for Apache Spark”开源 python 包。

我知道您可以通过 Code Repo 导入不存在的包,并且已经这样做了,我可以对 Koalas 包执行相同的过程还是需要遵循其他路线?

最佳答案

我能够使用 Code Repo 上传程序包的本地克隆,然后使用此处详细说明的步骤将程序包添加到平台中:How to create python libraries and how to import it in palantir foundry

然而,不久之后 Palantir 管理员推出了更新,其中包括将 Koalas 包作为平台的 native 包。然而,到目前为止,我还没有时间尝试使用它来完成任何主要任务。

关于python - 如何在palantir-foundry中导入和使用Spark-Koalas,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/67010639/

相关文章:

python - 对包含带上标的表达式的字符串进行符号化

python - 如何在按住按键的同时刷新 OpenCV 窗口

Python 路径字符串除了最后一个斜杠外添加了一个额外的斜杠

python pandas 过滤并聚合多列并写入CSV

python - 如何将数据流式传输到 python 中的 azure block blob

python - 将数据框中的值替换为另一个数据框中的值 - 正则表达式

python - Pandas 中特定列的特定值的总和

python - Spark 将数据帧列转换为 StandardScaler() 的密集向量 "Column must be of type org.apache.spark.ml.linalg.VectorUDT"

python - 使用列表中的 startswith 的 Pyspark 过滤器

amazon-web-services - 如何在 Amazon Aws 上运行 Python Spark 代码?