目录

前言

mmrotate旋转目标检测框架的学习与使用是在AutoDL的服务器上进行的，配置为ubuntu18.04，GPU RTX 2080 Ti * 1，以下是一个学习过程的记录，希望能对大家有所帮助。

一、环境配置

MMRotate 依赖 PyTorch, MMCV 和 MMDetection，以下是安装的简要步骤。 更详细的安装指南请参考 安装文档。

conda create -n open-mmlab python=3.7 pytorch==1.7.0 cudatoolkit=10.1 torchvision -c pytorch -y
conda activate open-mmlab
pip install openmim
mim install mmcv-full
mim install mmdet
git clone https://github.com/open-mmlab/mmrotate.git
cd mmrotate
pip install -r requirements/build.txt
pip install -v -e .

一切顺利之后，为了验证是否正确安装了 MMRotate，我们需进行以下操作。

1. 下载checkpoint文件

新建一个checkpoint文件夹，将checkpoint文件下载到该文件夹下，checkpoint文件可根据自己的需求进行下载，我下载的是s2anet_r50_fpn_1x_dota_le135-5dfcf396.pth和s2anet_r50_fpn_fp16_1x_dota_le135-5cac515c.pth

2. 运行demo

运行指令形式如下：

python demo/image_demo.py \
    ${IMG_ROOT} \
    ${CONFIG_FILE} \
    ${CHECKPOINT_FILE} \
    ${OUT_FILE}

IMG_ROOT：为待检测图像
CONFIG_FILE：为配置文件
CHECKPOINT_FILE：为训练好的权重。

OUT_FILE：输出图片的保存zaizh

输入以下指令：

 ​python ./demo/image_demo.py ./demo/demo.jpg ./configs/s2anet/s2anet_r50_fpn_fp16_1x_dota_le135.py ./checkpoint/s2anet_r50_fpn_fp16_1x_dota_le135-5cac515c.pth --out-file ./demo/result.jpg

 应该正常运行的，但是出现了错误（如果运行正常，会在demo文件夹下看到结果result.jpg）：

有可能是在开始安装mmcv-full的时候，没有指定版本，选择直接安装，如下：

pip install mmcv-full

采用这样默认安装mmcv-full的方式，如果与你环境里的cuda和torch版本不匹配，就容易出现上面报错，卸载掉原来的mmcv。

pip uninstall mmcv-full

打开mmcv，点击下图已经建立好的对应版本，进行安装。

我的是torch1.7.0  cuda10.1，对应的install形式如下：

pip install mmcv-full=={mmcv_version} -f https://download.openmmlab.com/mmcv/dist/cu101/torch1.7.0/index.html

 需要指定mmcv_version，前面报错有提示： Please install mmcv>=1.4.5, <=1.6.0，故选择1.6.0进行安装

pip install mmcv-full==1.6.0 -f https://download.openmmlab.com/mmcv/dist/cu101/torch1.7.0/index.html

 安装完成后，输入指令再次进行测试：

 python ./demo/image_demo.py ./demo/demo.jpg ./configs/s2anet/s2anet_r50_fpn_fp16_1x_dota_le135.py ./checkpoint/s2anet_r50_fpn_fp16_1x_dota_le135-5cac515c.pth --out-file ./demo/result.jpg

原图与输出结果的对比;

二、制作自己的数据集

1. 标注数据

使用的工具是rolabelimg，rolabelimg安装过程太过繁琐，为了节省精力，已提供rolabelimg.exe，可自行下载

链接：https://pan.baidu.com/s/1j9uV-_2zYC7pb6YTzaeLXQ  提取码：qxmg

为了进行后续操作，新建data文件夹，在data文件夹下新建DOTA文件夹，将标注好的数据放到DOTA文件夹下

2. 标签格式转换

新建voc2dota.py文件，将xml标签转换为DOTA的标签，注意代码中的图片和标签地址，以及图片格式，根据实际情况自行修改

# 将xml格式的标签转化为txt格式，并输出标注好的图片
import os
import xml.etree.ElementTree as ET
import math
import cv2 as cv

def voc_to_dota(xml_path, xml_name):
    txt_name = xml_name[:-4] + '.txt'
    txt_path = xml_path[:-4] + '/txt_label'
    if not os.path.exists(txt_path):
        os.makedirs(txt_path)
    txt_file = os.path.join(txt_path, txt_name)
    file_path = os.path.join(xml_path, file_list[i])
    tree = ET.parse(os.path.join(file_path))
    root = tree.getroot()
    # print(root[6][0].text)
    image_path = '../data/DOTA/images/'
    out_path = '../data/DOTA/outputImg/'
    filename = image_path + xml_name[:-4] + '.Jpeg'
    img = cv.imread(filename)
    with open(txt_file, "w+", encoding='UTF-8') as out_file:
        # out_file.write('imagesource:null' + '\n' + 'gsd:null' + '\n')
        for obj in root.findall('object'):
            name = obj.find('name').text
            difficult = obj.find('difficult').text
            # print(name, difficult)
            robndbox = obj.find('robndbox')
            cx = float(robndbox.find('cx').text)
            cy = float(robndbox.find('cy').text)
            w = float(robndbox.find('w').text)
            h = float(robndbox.find('h').text)
            angle = float(robndbox.find('angle').text)
            # print(cx, cy, w, h, angle)
            p0x, p0y = rotatePoint(cx, cy, cx - w / 2, cy - h / 2, -angle)
            p1x, p1y = rotatePoint(cx, cy, cx + w / 2, cy - h / 2, -angle)
            p2x, p2y = rotatePoint(cx, cy, cx + w / 2, cy + h / 2, -angle)
            p3x, p3y = rotatePoint(cx, cy, cx - w / 2, cy + h / 2, -angle)

            # 找最左上角的点
            dict = {p0y:p0x, p1y:p1x, p2y:p2x, p3y:p3x}
            list = find_topLeftPopint(dict)
            #print((list))
            if list[0] == p0x:
                list_xy = [p0x, p0y, p1x, p1y, p2x, p2y, p3x, p3y]
            elif list[0] == p1x:
                list_xy = [p1x, p1y, p2x, p2y, p3x, p3y, p0x, p0y]
            elif list[0] == p2x:
                list_xy = [p2x, p2y, p3x, p3y, p0x, p0y, p1x, p1y]
            else:
                list_xy = [p3x, p3y, p0x, p0y, p1x, p1y, p2x, p2y]

            # 在原图上画矩形 看是否转换正确
            cv.line(img, (int(list_xy[0]), int(list_xy[1])), (int(list_xy[2]), int(list_xy[3])), color=(255, 0, 0), thickness=3)
            cv.line(img, (int(list_xy[2]), int(list_xy[3])), (int(list_xy[4]), int(list_xy[5])), color=(0, 255, 0), thickness= 3)
            cv.line(img, (int(list_xy[4]), int(list_xy[5])), (int(list_xy[6]), int(list_xy[7])), color=(0, 0, 255), thickness = 2)
            cv.line(img, (int(list_xy[6]), int(list_xy[7])), (int(list_xy[0]), int(list_xy[1])), color=(255, 255, 0), thickness = 2)
            cv.imwrite(out_path + xml_name[:-4] + '.Jpeg', img)
            data = str(list_xy[0]) + " " + str(list_xy[1]) + " " + str(list_xy[2]) + " " + str(list_xy[3]) + " " + \
                   str(list_xy[4]) + " " + str(list_xy[5]) + " " + str(list_xy[6]) + " " + str(list_xy[7]) + " "
            data = data + name + " " + difficult + "\n"
            out_file.write(data)


def find_topLeftPopint(dict):
    dict_keys = sorted(dict.keys())  # y值
    temp = [dict[dict_keys[0]], dict[dict_keys[1]]]
    minx = min(temp)
    if minx == temp[0]:
        miny = dict_keys[0]
    else:
        miny = dict_keys[1]
    return [minx, miny]


# 转换成四点坐标
def rotatePoint(xc, yc, xp, yp, theta):
    xoff = xp - xc
    yoff = yp - yc
    cosTheta = math.cos(theta)
    sinTheta = math.sin(theta)
    pResx = cosTheta * xoff + sinTheta * yoff
    pResy = - sinTheta * xoff + cosTheta * yoff
    # pRes = (xc + pResx, yc + pResy)
    # 保留一位小数点
    return float(format(xc + pResx, '.1f')), float(format(yc + pResy, '.1f'))
    # return xc + pResx, yc + pResy

if __name__ == '__main__':
    root_path = '../data/DOTA/xml'
    file_list = os.listdir(root_path)
    for i in range(0, len(file_list)):
        if ('.xml' in file_list[i]) or ('.XML' in file_list[i]):
            voc_to_dota(root_path, file_list[i])
            print('----------------------------------------{}{}----------------------------------------'
                  .format(file_list[i], ' has Done!'))
        else:
            print(file_list[i] + ' is not xml file')

运行成功后，会生成txt_label文件

3. 可视化数据集

tools/misc/browse_dataset.py帮助用户浏览检测的数据集（包括图像和检测框的标注），或将图像
保存到指定目录，指令形式如下：

python tools/misc/browse_dataset.py ${CONFIG} [-h] [–skip-type ${SKIP_TYPE[SKIP_TYPE.
,→..]}] [–output-dir ${OUTPUT_DIR}] [–not-show] [–show-interval ${SHOW_INTERVAL}]

python tools/misc/browse_dataset.py configs/s2anet/s2anet_r50_fpn_1x_dota_le135.py  --output-dir out

运行成功后，在mmrotate/out文件下可以看到标注好的图片，以检验转换是否成功 

4. 数据集裁剪

 将上述数据集分成 train、test、val 、trainval等几部分（我是手动划分的：train 80%，test 10%，val 10%）以便于训练，其中每个部分的文件夹下都包含有 images(图像) 和 labelTxt(对应的txt标签)

将 train、test、val 中的图片进行裁剪，在mmrotate/tools/data/dota/split/ 路径下img_split.py文件(裁剪脚本) 以及 mmrotate/tools/data/dota/split/split_configs/ 路径下的配置文件，其文件内容就是img_split.py的配置信息，我们需要修改其中的参数，让其加载上述的train、test、val中的图像及标签，并进行裁剪，以ss_train.json为例，需要修改的地方有图片地址，标签地址，分割后保存地址，以及保存图片的格式（若按照前面的操作设置文件名，则无需进行修改，只需要注意图片格式），ss_test.json和ss_val.json的修改同理

 修改完上述文件后，运行如下指令，进行数据裁剪：

python tools/data/dota/split/img_split.py --base-json tools/data/dota/split/split_configs/ss_train.json
python tools/data/dota/split/img_split.py --base-json tools/data/dota/split/split_configs/ss_test.json
python tools/data/dota/split/img_split.py --base-json tools/data/dota/split/split_configs/ss_val.json
python tools/data/dota/split/img_split.py --base-json tools/data/dota/split/split_configs/ss_trainval.json

裁剪完后的数据集路径为mmrotate/data/split_ss_dota，结果如下：

三、 修改配置文件

数据集准备好之后，接下来，需要修改训练相关的配置信息：

1. 修改classes

以s2anet_r50_fpn_1x_dota_le135.py为例，将其中的num_classes=15改成num_classes=1（根据自己数据集的类别数量进行修改）

 同时，修改 mmrotate/mmrotate/datasets/dota.py 文件中的类别名称，注意只有一个类别时不要去掉逗号，修改图像数据集的后缀

最后，修改训练使用的数据集路径：找到并打开 mmrotate/configs/_base_/datasets/dotav1.py 文件，修改其中的 data_root 路径为自己裁剪的数据集路径

上述配置完成后即可训练，即可进行训练，其他可进行修改的地方如下：

2. 修改训练参数

修改线程数、batch_size和测试集标签路径(mmrotate/configs/base/datasets/dotav1.py)

修改训练epoches(mmrotate/configs/_base_/schedules/schedule_1x.py)

注意：有的模型修改schedule_1x.py无效，因为其在继承了schedule_1x.py后进行了改写，例如，oriented_reppoints_r50_fpn_40e_dota_ms_le135.py里对上述参数已进行了设置，用此模型进行训练，只能在oriented_reppoints_r50_fpn_40e_dota_ms_le135.py中修改相应参数，而修改schedule_1x.py无效

修改模型训练的日志打印和load from加载预训练模型（configs/_base_/default_runtime.py），此处特别容易犯错，更换网络进行训练一定要及时替换相应的预训练模型，log_config封装了多个记录器挂钩，并允许设置间隔。现在MMCV支持WandbLoggerHook, MlflowLoggerHook和TensorboardLoggerHook。详细用法可以在官方文档中找到。

四、训练并测试

1. 训练

 python tools/train.py ${CONFIG_FILE} [optional arguments] 

–work_dir ${YOUR_WORK_DIR}

训练主要有两个参数： config：使用的模型文件 ； – -work-dir：训练得到的模型及配置信息保存的路径，新建如下路径work-dir/run/s2anet/保存训练结果，输入以下指令进行训练

python tools/train.py configs/s2anet/s2anet_r50_fpn_1x_dota_le135.py --work-dir work-dir/run/s2anet/

2. 测试

 python tools/test.py ${CONFIG_FILE} ${CHECKPOINT_FILE} [optional arguments]

测试主要有三个参数： config：使用的模型文件 ；checkpoint：训练得到的模型权重文件; –show-dir：预测结果存放的路径。新建如下路径work-dir/run/s2anet/保存测试结果，输入以下指令进行测试

python tools/test.py configs/s2anet/s2anet_r50_fpn_1x_dota_le135.py work-dir/run/s2anet/latest.pth --show-dir work-dir/output/s2anet/ --eval mAP

 运行报错，然后查看了一下test数据集，发现标签文件为空

 然后查看mmrotate/tools/data/dota/split/split_configs/ss_test.json文件，会发现没有标签文件路径，这就是造成上述现象的原因（DOTA数据集是在线验证，本地没有标签也可以检测训练效果，自行标注的数据集是离线验证，没有标签无法检测训练效果）

 解决办法是在ss_test.json文件中添加上路径，重新进行原数据的分割，或者修改mmrotate/configs/_base_/datasets/dotav1.py为测试集的路径为验证集或训练集路径

 然后再输入指令，可得到测试结果，更多测试操作见官方文档

python tools/test.py configs/s2anet/s2anet_r50_fpn_1x_dota_le135.py work-dir/run/s2anet/latest.pth --show-dir work-dir/output/s2anet/ --eval mAP

3. 预测

测试是为了检验训练效果，得到mAP、FPS等指标，进行模型性能评价，而预测则是将训练好的模型进行部署应用。输入以下指令进行单张图片的预测：

python ./demo/image_demo.py ./demo/00008.Jpeg ./configs/s2anet/s2anet_r50_fpn_1x_dota_le135.py ./work-dir/run/s2anet/latest.pth --out-file ./demo/result.Jpeg

要想实现文件夹下多张图片或者视频的预测，可以参考mmdection的相关资料对demo.py进行修改。

五、总结

上述是我以S2A为例从环境配置到训练自己的数据集全过程，在实际使用中，如果自己的图片尺寸不是特别大，可以跳过裁剪步骤，直接进行训练。

参考资料

Welcome to MMRotate’s documentation! — mmrotate 文档https://mmrotate.readthedocs.io/zh_CN/latest/

复现 S2ANet RTX 2080Tihttp://t.csdn.cn/vwruC

mmrotate旋转目标检测框架从环境配置到训练自己的数据集http://t.csdn.cn/1cGDN

基于MMRotate训练自定义数据集 做旋转目标检测 2022-3-30http://t.csdn.cn/A1vSE