google-cloud-datalab - 将文件上传到谷歌云数据实验室虚拟机实例

Question

我有一个打开的谷歌云数据实验室笔记本，我正在查看文件夹内容。有一个上传按钮，我可以用它来上传文件。它适用于大约 500kb 以下的任何文件，但当我尝试上传更大的文件时，它就会永远挂起。我没有尝试通过 Web 界面上传大量文件，只有 10 MB 或更少的数据，但它仍然无法通过。

datalab 是否有您可以使用网络 uploader 的最大文件大小？

Answer 1

由于 Google Cloud Datalab Notebook 在配置的 Google Compute Engine (GCE) 实例中作为 docker 容器运行，我们需要将文件复制到容器本身。

1/将大文件从本地复制到 GCS 桶:

[Local machine prompt] gsutil cp <my_file> gs://<my_bucket>

2/SSH 从 Cloud Shell 进入 Datalab GCE 实例:

[Cloud Shell prompt] gcloud compute ssh <instance name>

3/找到Cloud Datalab容器的id:

[GCE Instance prompt] docker ps -a
CONTAINER ID        IMAGE                                       COMMAND
0aa745853b54        gcr.io/cloud-datalab/datalab:latest         "/datalab/run.sh"

4/执行到刚找到的id的容器中:

[GCE instance prompt] docker exec -it 0aa745853b54 /bin/sh

5/在容器的新提示中，将文件复制到笔记本位置:

[Container prompt] gsutil cp gs://<my_bucket>/<my_file> /content/datalab

6/确认文件已复制:

[Container prompt] ls -l /content/datalab

7/按住Ctrl + p + q退出容器

my_file 也应该可以从 Notebook 的 Web GUI 中看到。