python - padding_idx 在 nn.embeddings() 中做什么

Question

我正在学习 pytorch 和
我想知道 padding_idx 是什么意思属性 do in torch.nn.Embedding(n1, d1, padding_idx=0) ?
我到处找，找不到我能得到的东西。
你能举个例子来说明这一点吗？

Answer 1

padding_idx在 documentation 中确实描述得很糟糕.

基本上，它指定在调用期间传递的哪个索引将意味着“零向量”(这在 NLP 中经常使用，以防某些标记丢失)。默认情况下，没有索引意味着“零向量”，如下例所示:

import torch

embedding = torch.nn.Embedding(10, 3)
input = torch.LongTensor([[0, 1, 0, 5]])
print(embedding(input))

会给你:

tensor([[[ 0.1280, -1.1390, -2.5007],
         [ 0.3617, -0.9280,  1.2894],
         [ 0.1280, -1.1390, -2.5007],
         [-1.3135, -0.0229,  0.2451]]], grad_fn=<EmbeddingBackward>)

如果您指定 padding_idx=0每input其中值等于 0 (所以第零和第二行)将是 zero-ed像这样(代码:embedding = torch.nn.Embedding(10, 3, padding_idx=0)):

tensor([[[ 0.0000,  0.0000,  0.0000],
         [-0.4448, -0.2076,  1.1575],
         [ 0.0000,  0.0000,  0.0000],
         [ 1.3602, -0.6299, -0.5809]]], grad_fn=<EmbeddingBackward>

如果您要指定 padding_idx=5最后一行将充满零等。