最近我正在研究注意力就是你需要的所有论文,通过它我发现了一个关于理解注意力网络的问题,如果我忽略它背后的数学。
谁能通过一个例子让我理解注意力网络?
最佳答案
This教程说明了 Transformer 中的每个核心组件,绝对值得一读。
直觉上,注意力机制试图根据注意力函数找到“相似”的时间步长(例如,注意力中的投影+余弦相似度就是你所需要的),然后使用相应计算的权重和先前的表示来计算新的表示。
关于text - 注意力网络是如何运作的?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59191144/