python - PyTorch 复制张量的首选方式

Question

似乎有几种方法可以在 PyTorch 中创建张量的副本，包括

y = tensor.new_tensor(x) #a

y = x.clone().detach() #b

y = torch.empty_like(x).copy_(x) #c

y = torch.tensor(x) #d

根据执行 a 时收到的 UserWarning，

b 明显优于 a 和 d或d。为什么它是首选？表现？我认为它的可读性较差。

有什么理由支持/反对使用c吗？

Answer 1

TL;DR

使用.clone().detach()(或者最好使用.detach().clone())

If you first detach the tensor and then clone it, the computation path is not copied, the other way around it is copied and then abandoned. Thus, .detach().clone() is very slightly more efficient.-- pytorch forums

因为它的作用稍微快一些并且明确。

<小时/>

使用perflot ，我绘制了复制 pytorch 张量的各种方法的时间。

y = tensor.new_tensor(x) # method a

y = x.clone().detach() # method b

y = torch.empty_like(x).copy_(x) # method c

y = torch.tensor(x) # method d

y = x.detach().clone() # method e

x轴是创建张量的维度，y轴显示时间。该图是线性比例的。您可以清楚地看到，与其他三种方法相比，tensor() 或 new_tensor() 需要更多时间。

注意:在多次运行中，我注意到在 b、c、e 中，任何方法的时间都可以是最低的。 a和d也是同样的情况。但是，方法 b、c、e 的计时始终低于 a 和 d。

import torch
import perfplot

perfplot.show(
    setup=lambda n: torch.randn(n),
    kernels=[
        lambda a: a.new_tensor(a),
        lambda a: a.clone().detach(),
        lambda a: torch.empty_like(a).copy_(a),
        lambda a: torch.tensor(a),
        lambda a: a.detach().clone(),
    ],
    labels=["new_tensor()", "clone().detach()", "empty_like().copy()", "tensor()", "detach().clone()"],
    n_range=[2 ** k for k in range(15)],
    xlabel="len(a)",
    logx=False,
    logy=False,
    title='Timing comparison for copying a pytorch tensor',
)