pyspark - 如何创建python库以及如何在palantir代工厂中导入它

标签 pyspark conda palantir-foundry foundry-code-repositories foundry-python-transform

为了概括 python 函数,我想向 python 库添加函数,以便我可以在多个存储库中使用这些函数。任何人请回答以下问题。
1)如何创建我们自己的python库
2) 如何跨多个存储库导入这些库

最佳答案

  • 如何在 Palantir Foundry 中创建 Python 库?

  • 要创建新库,您可以通过创建新存储库来实现。当提示初始化存储库时,您应该有一个选项,内容如下:
    Python Library
    Template for publishing a Python library package. Consuming new libraries has changed,
    please read README in library repository.
    
    自述文件将包含有关如何发布库的说明。建议您了解 conda 发布 channel 如何为此工作。
    注意,避免使用 _在库名称中,因为它可能会导致问题。 -虽然是安全的使用。
  • 如何在代码创作中导入库?

  • 一旦您的库发布,您可以将其添加到您想要使用该库的存储库的 conda 配方中。您可以在以下位置找到它:transforms-python/conda_recipe/meta.yaml之后只需将其添加到下面的列表中
    requirements:
      run:
        - python
        - pandas
        - your-library-name
    
    

    关于pyspark - 如何创建python库以及如何在palantir代工厂中导入它,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64332468/

    相关文章:

    python - pyspark udf rlike条件是否错误

    python - Anaconda3安装程序将安装放置在意外目录中并且conda命令在Ubuntu焦点20下不起作用

    python - 更新时从在 conda 环境中使用 pip 安装的 git repo 获取新提交

    apache-spark - 如何从PySpark将数据持久保存到Hive-避免重复

    pyspark - Databricks - 显示数据框并打印字符串

    palantir-foundry - 如何在 Python 转换中使用 sqlContext(执行 SQL 查询)?

    palantir-foundry - Foundry Magritte append ingestion 如何处理数据源中已删除的行?

    pyspark - 为什么我在构建中看到 DataFrame 的重复实现?

    apache-spark - 监控 Spark 实际工作时间与通信时间

    python - 修复我的 Python 安装和 Jupyter Notebook