python - 在 Tensorflow 中使用 TPU 时,是否有适当的解决方法来保存本地驱动器中的检查点?

标签 python tensorflow google-colaboratory google-cloud-tpu

这个问题的跟进:

How to save a Tensorflow Checkpoint file from Google Colaboratory in when using TPU mode?

使用 Tensorflow TPU 时保存检查点的官方方法是使用谷歌云服务。

如果对那些不想使用 GCS 的人有解决方法,我正在努力。也许对于每个变量,做一个.eval(),保存变量。然后将保存变量设置为每个变量的“初始”值。

不过,我预见到的一个主要问题是为优化器保存和加载参数。

对于 Keras,权重似乎确实从 TPU 保存到本地

https://colab.research.google.com/github/tensorflow/tpu/blob/master/tools/colab/shakespeare_with_tpu_and_keras.ipynb

INFO:tensorflow:Copying TPU weights to the CPU

所以我想也有一个通用的解决方法,无需使用 keras。

最佳答案

看看THIS CODE from Keras

如果我理解正确的话,权重不会直接从 TPU 中保存,而是会同步到 CPU 并保存到 colab 存储中。

编辑

另见:this answer .

关于python - 在 Tensorflow 中使用 TPU 时,是否有适当的解决方法来保存本地驱动器中的检查点?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53017571/

相关文章:

python - 使 Tensorflow 忽略值

cuda - 如何使tensorflow在具有2.x功能的GPU上运行?

python - 如何在 colab.research 上通过 conda 构建库?

python Pandas : create a new column for each different value of a source column (with boolean output as column values)

python - 我将如何使用 Beautiful Soup 提取此 HTML 元素属性的值?

Tensorflow 2.0 100% 使用所有 CPU 内核

python - Colab 突然无法浏览目录

python - 当我尝试转换 Keras MLP 时,为什么 Google Colab 会给出 "unknown device"错误?

python - 这个函数每次都会创建一个新的 TensorFlow 图吗?

python - 从文本文件计算