动手学深度学习笔记(一)

一、数据操作

        NDarray是很重要的一种数据类型,可以用来表示向量或矩阵。有时需要初始化权重系数,需要用到随机生成的功能,若需要生成一个3*4的矩阵,且每个元素都随机采样于均值为0标准差为1的正态分布,则使用如下函数:

nd.random.normal(0, 1, shape=(3, 4))# 分别为均值,标准差,向量/矩阵形状

        若需要将两个矩阵或向量之间在行上或列上进行连接,可以使用concat函数,连接维度为0即在行上连接,为1则在列上连接

nd.concat(X, Y, dim=0), nd.concat(X, Y, dim=1)# 分别表示连接矩阵和连接维度

        求矩阵的L2范数可以使用norm函数,矩阵X的L2范数即X^{H}X(X^{H}为共轭转置矩阵)的最大特征值的平方根,同时可以使用asscalar函数转为标量。

二、自动求梯度

        首先需要申请存储梯度所需要的内存,使用attach_grad函数,例如y = 2xTx,要求有关向量x的梯度;

        随后需要记录与求梯度所需要的计算,可以使用record函数,需要注意的是,若y不为标量,则会自动将y中的所有元素进行求和得到新的变量;

        接下来可以通过调用backward函数自动求梯度,梯度变量即为x.grad

x.attach_grad()
with autograd.record()
    y = 2 * nd.dot(x.T, x)
y.backward()
print(x.grad)

随后将会记录深度学习基础内容 

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
社会演员多的头像社会演员多普通用户
上一篇 2022年5月31日 上午11:12
下一篇 2022年5月31日 上午11:14

相关推荐