我想在 Google Colab 中使用数据集 (170+GB)。我有两个问题:
由于Colab的可用空间约为66GB，如果数据托管在GCS中，有没有办法直接在Colab中使用GCS的数据？如果没有，可能的解决方案是什么？
由于可用空间有限，我无法进入 colab，如何直接从可下载链接将数据集上传到 GCS？
感谢任何帮助。
最佳答案
验证:
from google.colab import auth
auth.authenticate_user()
安装谷歌SDK:
!curl https://sdk.cloud.google.com | bash
初始化 SDK 以配置项目设置。
!gcloud init
1.将文件从 Cloud Storage 下载到 Google Colab
!gsutil cp gs://google storage bucket/your file.csv .
2.将文件从 Google Colab 上传到云端
gsutil cp yourfile.csv gs://gs bucket/
希望有帮助。 Source
关于google-cloud-storage - 有没有办法直接在 Colab 中使用 Google Cloud Storage 的数据？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/66938971/