深入浅出PaddlePaddle函数——paddle.Tensor

分类目录：《深入浅出PaddlePaddle函数》总目录
相关文章：
· 深入浅出TensorFlow2函数——tf.Tensor
· 深入浅出Pytorch函数——torch.Tensor
· 深入浅出PaddlePaddle函数——paddle.Tensor
· 深入浅出PaddlePaddle函数——paddle.to_tensor

Tensor是Paddle中最为基础的数据结构，有几种创建Tensor的不同方式：

• 用预先存在的数据创建1个Tensor，请参考paddle.to_tensor
• 创建一个指定shape的Tensor，请参考paddle.ones、paddle.zeros、paddle.full等
• 创建一个与其他Tensor具有相同shape与dtype的Tensor，请参考paddle.ones_like、paddle.zeros_like 、paddle.full_like

属性

• clear_grad：将当前Tensor的梯度设为0，仅适用于具有梯度的Tensor，通常我们将其用于参数，因为其他临时Tensor没有梯度。

import paddle
input = paddle.uniform([10, 2])
linear = paddle.nn.Linear(2, 3)
out = linear(input)
out.backward()
print("Before clear_grad, linear.weight.grad: {}".format(linear.weight.grad))
linear.weight.clear_grad()
print("After clear_grad, linear.weight.grad: {}".format(linear.weight.grad))

• clear_gradient：与clear_grad功能相同
• dtype：查看一个Tensor的数据类型，支持：bool、float16、float32、float64、uint8、int8、int16、int32、int64类型

import paddle
x = paddle.to_tensor([1.0, 2.0, 3.0])
print("tensor's type is: {}".format(x.dtype))

• grad：查看一个Tensor的梯度，数据类型为numpy.ndarray

import paddle
x = paddle.to_tensor([1.0, 2.0, 3.0], stop_gradient=False)
y = paddle.to_tensor([4.0, 5.0, 6.0], stop_gradient=False)
z = x * y
z.backward()
print("tensor's grad is: {}".format(x.grad))

• is_leaf：判断Tensor是否为叶子Tensor。对于stop_gradient为True的Tensor，它将是叶子Tensor。对于stop_gradient为False的Tensor， 如果它是由用户创建的，它也会是叶子 Tensor。

import paddle
x = paddle.to_tensor(1.)
print(x.is_leaf) # True
x = paddle.to_tensor(1., stop_gradient=True)
y = x + 1
print(x.is_leaf) # True
print(y.is_leaf) # True
x = paddle.to_tensor(1., stop_gradient=False)
y = x + 1
print(x.is_leaf) # True
print(y.is_leaf) # False

• item(*args)：将Tensor中特定位置的元素转化为Python标量，如果未指定位置，则该 Tensor必须为单元素Tensor。

import paddle
x = paddle.to_tensor(1)
print(x.item())             #1
print(type(x.item()))       #<class 'int'>
x = paddle.to_tensor(1.0)
print(x.item())             #1.0
print(type(x.item()))       #<class 'float'>
x = paddle.to_tensor(True)
print(x.item())             #True
print(type(x.item()))       #<class 'bool'>
x = paddle.to_tensor(1+1j)
print(x.item())             #(1+1j)
print(type(x.item()))       #<class 'complex'>
x = paddle.to_tensor([[1.1, 2.2, 3.3]])
print(x.item(2))            #3.3
print(x.item(0, 2))         #3.3

• name：查看一个Tensor的name，Tensor的name是其唯一标识符，为python的字符串类型。

import paddle
print("Tensor name: ", paddle.to_tensor(1).name) # Tensor name: generated_tensor_0

• ndim：查看一个Tensor的维度，也称作rank。

import paddle
print("Tensor's number of dimensition: ", paddle.to_tensor([[1, 2], [3, 4]]).ndim) # Tensor's number of dimensition: 2

• persistable：查看一个Tensor的persistable属性，该属性为True时表示持久性变量，持久性变量在每次迭代之后都不会删除。模型参数、学习率等Tensor，都是持久性变量。

import paddle
print("Whether Tensor is persistable: ", paddle.to_tensor(1).persistable) # Whether Tensor is persistable: false

• place：查看一个Tensor的设备位置，Tensor可能的设备位置有三种：CPU/GPU/固定内存，其中固定内存也称为不可分页内存或锁页内存， 其与GPU之间具有更高的读写效率，并且支持异步传输，这对网络整体性能会有进一步提升，但其缺点是分配空间过多时可能会降低主机系统的性能， 因为其减少了用于存储虚拟内存数据的可分页内存。

import paddle
cpu_tensor = paddle.to_tensor(1, place=paddle.CPUPlace())
print(cpu_tensor.place)

• shape：查看一个Tensor的shape，shape是Tensor的一个重要的概念，其描述了Tensor 在每个维度上的元素数量。

import paddle
print("Tensor's shape: ", paddle.to_tensor([[1, 2], [3, 4]]).shape)   # Tensor's shape: [2, 2]

• stop_gradient：查看一个Tensor是否计算并传播梯度，如果stop_gradient为True，则该Tensor不会计算梯度，并会阻绝Autograd的梯度传播。 反之，则会计算梯度并传播梯度。用户自行创建的的Tensor，默认是True，模型参数的stop_gradient都为False。

import paddle
print("Tensor's stop_gradient: ", paddle.to_tensor([[1, 2], [3, 4]]).stop_gradient)  # Tensor's stop_gradient: True

• numel：在静态图模式下，返回一个长度为1并且元素值为输入x元素个数的Tensor；在动态图模式下，返回一个标量数值。