deep-learning - 使用 colab 和 fastai 的训练问题(第一个 epoch 需要很长时间超过 4 小时)

标签 deep-learning pytorch artificial-intelligence google-colaboratory fast-ai

我在使用 colab 和 fastai 进行训练时遇到问题(第一个 epoch 需要很长时间超过 4 小时)。第一个时期只花了我大约 5 个小时,这对使用 google colab 没有用,因为 GPU 的使用限制 我正在使用“efficientnet-b4”和大约 52k 数据增强后的训练照片和 11k 有效照片。

问题如图所示:

Epoch training times

最佳答案

Colab 需要花费大量时间从 google drive 获取数据,因为它没有有效地索引,因此使第一个 epoch 非常长。对于大型数据集,我建议使用谷歌云存储并从那里导入数据。

关于deep-learning - 使用 colab 和 fastai 的训练问题(第一个 epoch 需要很长时间超过 4 小时),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61756071/

相关文章:

algorithm - pytorch:对两个不同大小的张量执行运算的有效方法,其中一个张量具有一对多关系

python - torch.nn.DataParallel 和 to(device) 不支持嵌套模块

algorithm - 为什么可接受的启发式方法可以保证最优性?

python - 如何将自己的数据集提供给keras image_ocr

python - 训练后 Keras load_model 不工作

python - Keras 多类模型尺寸错误

python - torch.FloatTensor 不是张量吗?

tensorflow - 使用机器学习去除手写签名图像中的背景

python - 在 VGG 神经网络中放置和获取大图像的策略

python - 广而深的tensorflow教程: Why do you test using only a batch of your evaluation dataset?