联邦学习FATE（单机部署）案例搭建+安装（超详细）

乘风

2 年前

前言

最近刚刚接触了联邦学习，准备搭建一个联邦学习的案例，但是遇到了很多问题，因此写这篇文章记录一下，希望能帮助到更多的人。

最开始的时候尝试的是Ubuntu，但是错误很多就选择了centos7

前言

一、使用环境

1.1 安装VMware Workstation 16 Player

3.5 安装fate-client和fate-test

一、使用环境

VMware Workstation 16 Player +CentOS7

1.1 安装VMware Workstation 16 Player

官网下载链接

点击上方链接进行下载。选择windows版本点击立即下载。

联邦学习FATE（单机部署）案例搭建+安装（超详细）

由于笔者已经下载了VMware16 接下来就是正常的下载步骤，在许可证的那里不用填写，因为不用做商业用途，可以免费使用。

1.2 下载CentOS7

打开centos7官网，下载x86_64版本，开源免费。centos官网

下载ISO版本。

1.3 创建虚拟机

打开VMware16，创建虚拟机

注意版本要选择CentOS 7 64位

为你的虚拟机起一个名字，并选择位置。

这里建议磁盘大小大一点，否则稍后安装FATE的时候会导致内存不足。

我把硬盘和内存都弄得大了一些。

使用ISO影像文件->浏览->选择刚才下载centos7映像文件

点击播放虚拟机。

直接回车，安装centos7

等待安装……

成功安装后把语言设置为简体中文。

选择[软件选择]-带GUI的服务器-完成。

选择[安装位置]-我要配置分区。

点击+进行分区，设置完/boot和swap后，剩余内存都会给到根目录。

容量这里根据自己的需求设置。

swap和/如boot同理。

点击完成后会弹出更改摘要，选择[接受更改]即可。

选择[网络和主机名]，打开网络连接并给主机命名。

上述操作结束后，点击开始安装。

在安装过程中，设置[root密码]，这里最开始忘记截图了正常应该是未设置密码。

点击完成。

继续等待安装……

此时还没接受许可证，点击[许可证信息]–[我同意许可协议]-[完成]-[完成配置]

进下来按照提示，逐步完成操作。

在centos7桌面点击鼠标右键打开终端进入超级用户

su root

如果提示鉴定故障，则说明没有设置密码。输入如下代码设置密码。

sudo passwd root

输入su root,进入超级用户。

二、安装FATE

2.1 检查端口

以下3个端口在安装时都有用处，如果端口被占用则关闭相应程序。

正常依次输完3段代码不会有任何提示则说明端口没有被占用。

代码如下（示例）：

netstat -apln|grep 8080;
netstat -apln|grep 9360;
netstat -apln|grep 9380

2.2 下载FATE安装包

代码如下（示例）：

wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/standalone_fate_master_1.6.0.tar.gz

为了加快下载速度使用了清华源。

下载后进行解压。

tar -xzvf standalone_fate_master_1.6.0.tar.gz

在经过一长串的解压后就完成了，可以看到主文件夹下多了一个解压后的fate文件夹。

进入fate1.6.0目录，执行init.sh.

cd standalone_fate_master_1.6.0

sh init.sh init

可以看到fate flow使用了9380和9360端口。

这个时候输入localhost:8080即可进入fateboard。

三、测试

tips：接下来的所有操作都是在standalone_fate_master_1.6.0的终端下进行的。

3.1 启动fate flow

代码如下：

bash init.sh status
bash init.sh start

显示服务器已经启动。

3.2 配置环境变量

输入如下代码时，自动配置相关环境变量。

source bin/init_env.sh

运行成功后会进入（venv）。

3.3 单元测试

输入如下代码：

bash ./python/federatedml/test/run_test.sh

结果显示there are 0 failed test，则测试成功。

3.4 toy测试

输入如下代码：

python ./examples/toy_example/run_toy_example.py 10000 10000 0

结果显示success to calculate secure_sum, it is 2000.0或者和提示差不多，则测试成功。

这里我的显示结果是1999.n个9，类似结果就说明成功。

3.5 安装fate-client和fate-test

方便进行交互和测试。

如果报错可以尝试 -i https://pypi.tuna.tsinghua.edu.cn/simple/ 安装。

python -m pip install fate-client
python -m pip install fate-test

四、案例实战

使用的是fate自带的横向逻辑回归数据。

4.1 上传数据

代码如下：

python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_host.json; 
python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_guest.json ; 
python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_test.json

打开fateboard界面，显示数据已经上传成功。

如果想重新上传数据的话，需要在json文件后加“drop=1”，因为原则上不可以重复上传。

代码如下所示：

python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_host.json drop=1
python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_guest.json drop=1  
python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_test.json drop=1

4.2 训练模型

上传配置文件并训练。

代码如下：

python ./python/fate_flow/fate_flow_client.py -f submit_job -c ./examples/dsl/v1/homo_logistic_regression/test_homolr_train_job_conf.json -d ./examples/dsl/v1/homo_logistic_regression/test_homolr_train_job_dsl.json

训练成功。