MADDPG（MPE） 介绍

MPE（Multi-Agent Particle Environment）是由 OpenAI 开源的一款多智能体强化学习实验平台，以 OpenAI 的 gym 为基础，使用 Python 编写而成。它创造了一个简单的多智能体粒子世界，粒子们可以进行连续的观察和离散的动作。

MPE环境安装教程

前期准备

• 在GitHub网站下载MPE的安装包：https://github.com/openai/multiagent-particle-envs.git

• 是安装在python环境下的。所以安装前要先装好python，不过我个人是安装anaconda，通过conda创建虚拟环境，好处是便于创建我们需要的不同版本的python环境，很方便，不用重复安装不同版本的python（强烈推荐）。

• conda虚拟环境的配置，可以参考这篇教程(Windows 10 Anaconda 安装和使用 （最详细）)

MPE 安装包介绍

GitHub源码分为环境和算法两个部分：

• Multi-Agent Particle Environment
• Multi-Agent Deep Deterministic Policy Gradient (MADDPG)

MPE 安装环境要求

下载 Multi-Agent Particle Environment 源码，阅读 README.md 可知需要先配置：

• python（3.5.4），openAI gym(0.10.5),tensorflow(1.8.0),numpy(1.14.5)
• 我用的是Pycharm+python3.6(用conda配置的虚拟环境python3.6)

开始安装

1.然后在 Pycharm 自带的 terminal 或进入 cmd，打开终端，将路径cd到multiagent-particle-envs文件夹下（即含有setup.py文件的文件夹下）

执行

pip install -e .

multiagent环境安装完成。

2.同样的，将路径再cd到maddpg文件夹下（即含有setup.py文件的文件夹下），执行

`pip install -e` .

maddpg安装完成。具体如下图所示：

3.将路径加入到path中：打开~/.bashrc，将multiagent-particle-envs下的bin的路径添加到path里面

环境测试

安装完成后，输入测试命令.

• cd到/maddpg/experiments文件夹下：

cd experiments

• 运行train.py文件，默认环境为simple先在该目录下进行切换：

python train.py --scenario simple

具体如下图所示：

如果出现如下画面表示环境安装成功：

注意：第一遍运行的时候，训练时只会出现训练数据，如下所示：

第一遍运行没有动画，运行完毕，如果是simple的话，需要将第14行代码的False 改为Ture ,再重新运行一遍才会出现实时动画。

MPE环境介绍

环境列表

环境更换和修改

• 更换环境可以直接再train文件中，修改环境名称
• 修改环境可以参考这篇（[MADDPG多智能体算法实现]），然后修改适合自己训练的环境。