DL|深度学习笔记

在此处写下您在学习深度学习时搜索的各种问题。

1. X = torch.normal(0, 1, size=(2, 1))意思是从均值为0，标准差为1的正态分布中抽取随机数，2行1列，“size=”可以省略不写
   
2. param -= lr * param.grad / batch_size这就是梯度下降。（-=已存入内存）
   
   
3. 全连接层：每个节点都与上一层的所有节点相连，用来合成前面提取的特征
   
4. Fashion-MNIST下载后，mnist_train有6000行，2列。其中 mnist_train[i][0].shape=[1][28][28] ，因为每个输入图像的高度和宽度均为28像素， 数据集由灰度图像组成，其通道数为1。 mnist_train[i][1] 取值为0-9，表示它的10个类别，分别为t-shirt（T恤）、trouser（裤子）、pullover（套衫）、dress（连衣裙）、coat（外套）、sandal（凉鞋）、shirt（衬衫）、sneaker（运动鞋）、bag（包）和ankle boot（短靴）。
   
5. -torch.log(y_hat[range(len(y_hat)),y])的解释：
   假如 y_hat=tensor([[0.1, 0.3, 0.6], [0.3, 0.2, 0.5]]) ， y=tensor([0,2])
   则交叉熵损失计算为：- ln0.1 * 1 – ln0.3 * 0 – ln0.6 * 0,即-ln0.1；和-ln0.5
   range(len(y_hat))即为[0,1]
   那么 y_hat[range(len(y_hat)),y] 即为 y_hat[[0,1],[0,2]] ，也就是第0行第0个和第1行第2个，即 tensor([0.1,0.5])
   
6. 报错：ImportError: cannot import name ‘_check_savefig_extra_args’ from ‘matplotlib.backend_bases’ (/usr/local/lib/python3.7/dist-packages/matplotlib/backend_bases.py)
   解决方法：在第一行 !pip install matplotlib==3.0.0
   
7. 超参数：在开始机器学习之前人为设置参数