python - 如何为dask_kubernetes配置jupyterlab?

标签 python kubernetes dask dask-kubernetes

我正在尝试配置jupyterlab dask扩展,以便“新建”群集按钮将创建一个KubeCluster而不是默认的LocalCluster

尝试编辑~/.config/dask/labextension.yml,使其具有以下内容:

kubernetes:
  worker-template:
    metadata:
    spec:
      restartPolicy: Never
      containers:
      - args:
          - dask-worker
          - --nthreads
          - '2'
          - --no-bokeh
          - --memory-limit
          - 12GB
          - --death-timeout
          - '60'
        image: ${JUPYTER_IMAGE_SPEC}
        name: dask-${JUPYTERHUB_USER}
        resources:
          limits:
            cpu: "1.75"
            memory: 12G
          requests:
            cpu: 1
            memory: 12G

labextension:
  factory:
    module: dask_kubernetes
    class: KubeCluster
    args: []
    kwargs: {}

(来源:https://github.com/pangeo-data/pangeo-cloud-federation/blob/8f7f4bf9963ef1ed180dd20c952ff1aa8df54ca2/deployments/ocean/image/binder/dask_config.yaml#L37-L42)

但是使用笔记本按钮创建新集群仍会创建LocalCluster。我想念什么?

最佳答案

您在上面所做的事情对我来说似乎很好。

您是否重新启动了JupyterLab?它在启动时读取配置文件。

关于python - 如何为dask_kubernetes配置jupyterlab?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60357320/

相关文章:

amazon-web-services - 如何让k8s Pod(由Jenkins生成)使用服务帐户IAM角色访问AWS资源

python - 如何用大字典映射 dask 系列

python - 使用 Dask 删除 Dataframe 中高度相关的成对特征?

Python:pandas DataFrame 中的字符串切片是一个系列?我需要它可以转换为 int

python - 在pycharm中运行pyspark程序

python - 自动关闭pyqt4窗口

python - 在 Python 中的 API 网关请求中使用 AWS Cognito 访问 token

kubernetes - 从本地网络连接到内部 kubernetes 服务

amazon-web-services - 创建k8s资源并等待完成继续下一步

dask - 无法使用 dask 删除列或切片数据框?