1 联邦学习提出的背景

在大多数情况下，数据分散的保存在各个企业手中，而各个企业希望在不公开自己数据的情况下，联合其他企业（利用各个企业所持有的数据）一起训练一个模型，该模型能够帮助企业获取更大的利益。

对于收集零散的数据，传统的方法是通过搭建一个数据中心，在数据中心对模型进行训练，但随着越来越多的法律限制加上数据拥有者不愿意透露自己的数据，这种方法已经渐渐行不通了。

2 联邦学习的介绍

定义：联邦学习（federated learning），全称联邦机器学习（federated machine learning），为了解决联合训练模型时的隐私问题，提出的一种方法：让各个企业自己进行模型的训练，各个企业在完成模型的训练之后，将各自模型的参数上传至一个中心服务器（也可以是点对点），中心服务器结合各个企业的参数（可以上传梯度，也可以是自己更新后的参数），重新拟定新的参数（例如通过加权平均，这一步叫做联邦聚合），将新的参数下发至各个企业，企业将新参数部署到模型上，从而继续新的训练，这个过程可以进行反复的迭代，直到模型收敛，或者满足其他的条件。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-H8FpL0PN-1668479217904)(联邦学习(Federated Learning)].assets/image-20221114144201902.png)

使用联邦学习模型的效果会比直接将数据集中起来进行训练要差，这样的效果损失（但实际情况下可能并没有损失，数据丢失可能类似于做了正则，效果可能反而会提升）换取了隐私的保护，是可以接受的。

3 联邦学习的分类

为了更好的理解联邦学习的分类，首先对数据进行定义：

各个企业拥有的数据可以看成是一张表格，表格的每一行是一个带有多个特征（features）以及标签（label）的样本，每一列是一个特征或者标签，例如下图可以是某企业整理的各地房价数据：

横向联邦学习、纵向联邦学习、联邦迁移学习分类的依据是各个参与方数据相似情况，而联邦强化学习的重点是基于各方环境进行决策（take action）。

3.1 横向联邦学习

横向联邦学习（Horizontal Federated Learning）指的是各方拥有的数据的特征（features）是基本一致的也都拥有各自的标签（label），如果将各方的数据集中成一个中心体，各方拥有的则是中心体的不同样本（横向指的是对中心体进行横向划分）。

横向联邦学习（带有中心服务器）的过程可以概括为下图：

3.2 纵向联邦学习

纵向联邦学习（Vertical Federated Learning）指的是各方拥有的数据有着很多不同的特征，但是可能会有许多相同的样本个体（例如同一个人在银行和保险公司的信息），同样将数据集中成一个中心体的话，各方拥有的是样本的不同属性（纵向指的是对中心体进行纵向划分。

纵向联邦学习实际上只有一方拥有标签，通过纵向联邦学习对相交数据进行训练。

纵向联邦学习的过程要稍微复杂一些，首先需要进行的是数据的对齐，由于不能泄漏数据，是将加密后的数据进行对齐，如下图所示：

对齐后的数据大致如下（对其操作只会获取两个数据中相交的样本，下图中即U1和U2：

由于只有一方拥有标签，但是双方（以两个参与方为例）进行了预测，这里将损失函数重新定义:
联邦学习是什么？联邦学习简介
而各个模型拥有的参数只有自己涉及特征的参数，以上面的例子为例，也就是：

这里只是简单举例，实际上是以矩阵的形式进行，同时会包含多个隐藏层。