Pytorch中自动求梯度机制和Variable类的示例分析
这篇文章主要介绍Pytorch中自动求梯度机制和Variable类的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
自动求导机制是每一个深度学习框架中重要的性质,免去了手动计算导数,下面用代码介绍并举例说明Pytorch的自动求导机制。
首先介绍Variable,Variable是对Tensor的一个封装,操作和Tensor是一样的,但是每个Variable都有三个属性:Varibale的Tensor本身的.data,对应Tensor的梯度.grad,以及这个Variable是通过什么方式得到的.grad_fn,根据最新消息,在pytorch0.4更新后,torch和torch.autograd.Variable现在是同一类。torch.Tensor能像Variable那样追踪历史和反向传播。Variable仍能正确工作,但是返回的是Tensor。
我们拥抱这些新特性,看看Pytorch怎么进行自动求梯度。
#encoding:utf-8 importtorch x=torch.tensor([2.],requires_grad=True)#新建一个tensor,允许自动求梯度,这一项默认是false. y=(x+2)**2+3#y的表达式中包含x,因此y能进行自动求梯度 y.backward() print(x.grad)
输出结果是:
tensor([8.])
这里添加一个小知识点,即torch.Tensor和torch.tensor的不同。二者均可以生成新的张量,但torch.Tensor()是python类,是默认张量类型torch.FloatTensor()的别名,使用torch.Tensor()会调用构造函数,生成单精度浮点类型的张量。
而torch.tensor()是函数,其中data可以是list,tuple,numpy,ndarray,scalar和其他类型,但只有浮点类型的张量能够自动求梯度。
torch.tensor(data, dtype=None, device=None, requires_grad=False)
言归正传,上一个例子的变量本质上是标量。下面一个例子对矩阵求导。
#encoding:utf-8 importtorch x=torch.ones((2,4),requires_grad=True) y=torch.ones((2,1),requires_grad=True) W=torch.ones((4,1),requires_grad=True) J=torch.sum(y-torch.matmul(x,W))#torch.matmul()表示对矩阵作乘法 J.backward() print(x.grad) print(y.grad) print(W.grad)
输出结果是:
tensor([[-1.,-1.,-1.,-1.], [-1.,-1.,-1.,-1.]]) tensor([[1.], [1.]]) tensor([[-2.], [-2.], [-2.], [-2.]])
以上是“Pytorch中自动求梯度机制和Variable类的示例分析”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注恰卡编程网行业资讯频道!
推荐阅读
-
Pytorch中model.eval()的作用是什么
Pytorch中model.eval()的作用是什么这篇文章主要介...
-
怎么使用pytorch读取数据集
怎么使用pytorch读取数据集这篇“怎么使用pytorch读取数...
-
pytorch中的view()函数怎么使用
pytorch中的view()函数怎么使用这篇文章主要介绍了pyt...
-
PyTorch中的torch.cat怎么用
PyTorch中的torch.cat怎么用这篇文章主要介绍PyTo...
-
pytorch中的hook机制是什么
pytorch中的hook机制是什么本篇内容介绍了“pytorch...
-
pytorch中的广播语义是什么
pytorch中的广播语义是什么这篇文章主要介绍“pytorch中...
-
PyTorch梯度下降反向传播实例分析
PyTorch梯度下降反向传播实例分析本文小编为大家详细介绍“Py...
-
python中的Pytorch建模流程是什么
python中的Pytorch建模流程是什么小编给大家分享一下py...
-
pytorch如何实现多项式回归
pytorch如何实现多项式回归这篇文章主要为大家展示了“pyto...
-
pytorch怎样实现线性回归
pytorch怎样实现线性回归这篇文章给大家分享的是有关pytor...
-
Pytorch中model.eval()的作用是什么
Pytorch中model.eval()的作用是什么这篇文章主要介...
-
怎么使用pytorch读取数据集
怎么使用pytorch读取数据集这篇“怎么使用pytorch读取数...
-
pytorch中的view()函数怎么使用
pytorch中的view()函数怎么使用这篇文章主要介绍了pyt...
-
PyTorch中的torch.cat怎么用
PyTorch中的torch.cat怎么用这篇文章主要介绍PyTo...
-
pytorch中的hook机制是什么
pytorch中的hook机制是什么本篇内容介绍了“pytorch...
-
pytorch中的广播语义是什么
pytorch中的广播语义是什么这篇文章主要介绍“pytorch中...
-
PyTorch梯度下降反向传播实例分析
PyTorch梯度下降反向传播实例分析本文小编为大家详细介绍“Py...
-
python中的Pytorch建模流程是什么
python中的Pytorch建模流程是什么小编给大家分享一下py...
-
pytorch如何实现多项式回归
pytorch如何实现多项式回归这篇文章主要为大家展示了“pyto...
-
pytorch怎样实现线性回归
pytorch怎样实现线性回归这篇文章给大家分享的是有关pytor...
-
Pytorch中model.eval()的作用是什么
Pytorch中model.eval()的作用是什么这篇文章主要介...
-
怎么使用pytorch读取数据集
怎么使用pytorch读取数据集这篇“怎么使用pytorch读取数...
-
pytorch中的view()函数怎么使用
pytorch中的view()函数怎么使用这篇文章主要介绍了pyt...
-
PyTorch中的torch.cat怎么用
PyTorch中的torch.cat怎么用这篇文章主要介绍PyTo...
-
pytorch中的hook机制是什么
pytorch中的hook机制是什么本篇内容介绍了“pytorch...
-
pytorch中的广播语义是什么
pytorch中的广播语义是什么这篇文章主要介绍“pytorch中...
-
PyTorch梯度下降反向传播实例分析
PyTorch梯度下降反向传播实例分析本文小编为大家详细介绍“Py...
-
python中的Pytorch建模流程是什么
python中的Pytorch建模流程是什么小编给大家分享一下py...
-
pytorch如何实现多项式回归
pytorch如何实现多项式回归这篇文章主要为大家展示了“pyto...
-
pytorch怎样实现线性回归
pytorch怎样实现线性回归这篇文章给大家分享的是有关pytor...