numpy - 如何使用 Numpy 函数实现泄漏的 relu

Question

我正在尝试实现泄漏的 Relu，问题是我必须为 4 维输入数组执行 4 个 for 循环。

有没有一种方法可以只使用 Numpy 函数来做泄漏的 relu？

Answer 1

这里有两种实现方式 leaky_relu :

import numpy as np                                                 

x = np.random.normal(size=[1, 5])

# first approach                           
leaky_way1 = np.where(x > 0, x, x * 0.01)                          

# second approach                                                                   
y1 = ((x > 0) * x)                                                 
y2 = ((x <= 0) * x * 0.01)                                         
leaky_way2 = y1 + y2