正则化
-
【深度学习框架-torch】torch.norm函数详解用法
目录 torch.norm参数定义 input p dim是matrix norm dim是vector norm dim Keepdim out dtype 示例 torch.n…
-
深入理解深度学习——正则化（Regularization）：数据集增强
分类目录：《深入理解深度学习》总目录 让机器学习模型泛化得更好的最好办法是使用更多的数据进行训练。当然，在实践中，我们拥有的数据量是很有限的。解决这个问题的一种方法是创建假数据并添…
-
深入理解深度学习——正则化（Regularization）：作为约束的范数惩罚
分类目录：《深入理解深度学习》总目录 考虑经过参数范数正则化的代价函数： 回顾《拉格朗日乘子法（二）：不等式约束与KKT条件》我们可以构造一个广义Lagrange函数来最小化带约束…
-
深入理解深度学习——正则化（Regularization）：正则化和欠约束问题
分类目录：《深入理解深度学习》总目录 在某些情况下，为了正确定义机器学习问题，正则化是必要的。机器学习中许多线性模型，包括线性回归和PCA，都依赖于对矩阵求逆。只要是奇异的，这些方…
-
多分类模型如何将LabelSmoothing与MixUp联合使用？
LabelSmoothing 以图像分类为例，网络模型的最后一层的输出维度等于总的类别数，然后使用softmax将网络预测输出转换为对应类别的概率分布，表示如下： …
-
【深度学习】：《100天一起学习PyTorch》第九天：Dropout实现（含源码）
【深度学习】：《100天一起学习PyTorch》第九天:Dropout实现 ✨本文收录于【深度学习】：《100天一起学习PyTorch》专栏，此专栏主要记录如何使用PyTorch实…
-
【机器学习】欠拟合 & 过拟合 & 正则化
拟合效果 欠拟合（underfitting）：指相较于数据而言，模型参数过少或者模型结构过于简单，以至于无法学习到数据中的规律。具体体现为曲线过于简单，对数据的拟合能力不强。 过拟…
-
网络优化方法–正则化
正则化 1.1 正则化介绍 正则化也叫作规范化，通常用得比较多的方式是 L1 正则化和 L2 正则化。L1 和 L2 正则 化的使用实际上就是在普通的代价函数（例如均方差代价函…
-
用MindSpore框架复现正则化实验：了解正则化手段与提前停止
用MindSpore框架复现正则化实验 – 了解正则化和提前停止 实验介绍 一般而言，正则化是为了防止过拟合或者帮助优化。本实验会给出几种神经网络中最受欢迎的正则化方法…
-
激活函数、损失函数、正则化
激活函数简介 在深度学习中，输入值和矩阵的运算是线性的，多个线性函数的组合仍然是一个线性函数。对于一个有多个隐藏层的神经网络，如果每一层都是一个线性函数，那么这些层在做的只是线性计…
