python - 如何在 Tensorflow 中以不同的学习率训练两个密集层?

标签 python python-3.x tensorflow deep-learning

我正在尝试在 Tensorflow 中构建一个多任务 CNN,它有两个并行的密集层,一个用于年龄预测,另一个用于性别预测。我如何为不同数量的纪元训练每个密集层,因为一个可以先于另一个纪元收敛,并且对相同的纪元数进行训练会使其中一个过拟合?

此外,如果我将年龄和性别的梯度传播到 CNN,它是否会过度拟合,因为它的权重更新速度是密集层的两倍?

最佳答案

我问过类似的问题,我终于找到了答案:LINK

解决方案:您可以定义2 个不同的train_step,每个都有自己的学习率。每个 train_step 都可以调用选定的次数。此外,如果您希望某些变量仅可针对选定的 train_step 进行训练,则可以定义一些依赖项。 (参见 documentation)。

关于python - 如何在 Tensorflow 中以不同的学习率训练两个密集层?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52159239/

相关文章:

python - Scrapy - 保存项目并解析新网址

python - 找不到符号表调试 python + C

python-3.x - 使用Python客户端库进行gcp计算API使用什么以及如何传递凭据

python - 将 Universal Sentence Encoder 保存到 Tflite 或将其提供给 tensorflow api

Python::AttributeError: 'module' 对象没有属性 'interfaces'

python - Django渲染函数: template not printing variable

python - 功能和标签尺寸崩溃 (tflearn)

python - 使用预训练的 Inception_v4 模型

python-3.x - 在给定的 conda 环境中将 python 版本从 3.8 降级到较低的版本

python - 在运行时获取 HybridBlock 层形状