YoloV5 训练长方形图像

20230329更新

官方的源代码中,训练的时候将rect开启,即可进行长方形训练同时也会进一步降低训练时的显存。

 Imagesz只需要设置图像最大尺寸即可,在dataload中,读取图像时候会进行判断处理,

 在load_image过程中,会将图像等比例缩放

比如原图为1280*640。

输入的imagesize为1280的话,则读取的图像为1280*640,

输入的imagesize为640的话,则读取的图像为640*320

 

但是需要注意开始Rect后 不会再对图像进行mosaic的增强,如果实在需要的话可以参考原来的长方形训练(下面的文章进行更改)

 

 

 

长方形图像训练:

Step1: 修改训练图片的尺寸,因为默认尺寸是是对训练集和验证集的。所以此处进行修改长方形时,需要分别赋值构建一个数组。

Step2:Train.py中修改对图像尺寸检查的功能。

Step3: Train.py中修改模型属性功能。原来640 是int类型,现在【640,320】是一个数组。所以需要进行修改。

 Step4: 对LoadImageAndLabels中的代码进行修改

 

修改mosic功能

 修改Load_image功能

 修改load_mosaic功能

 

修改mosaic拼接功能以及label拼接的功能。

注意看if isinstance 做判断的位置,都会进行修改。

    def load_mosaic(self, index):
        # YOLOv5 4-mosaic loader. Loads 1 image + 3 random images into a 4-image mosaic
        labels4, segments4 = [], []
        if isinstance(self.img_size, int):
            s = self.img_size
            yc, xc = (int(random.uniform(-x, 2 * s + x)) for x in self.mosaic_border)  # mosaic center x, y
        else:
            s_h, s_w = self.img_size  # (h,w)
            yc, xc = [int(random.uniform(-x, 2 * s + x)) for x, s in zip(self.mosaic_border, self.img_size)]
        indices = [index] + random.choices(self.indices, k=3)  # 3 additional image indices
        random.shuffle(indices)
        for i, index in enumerate(indices):
            # Load image
            img, _, (h, w) = self.load_image(index)
            if isinstance(self.img_size, int):
                # place img in img4
                if i == 0:  # top left
                    img4 = np.full((s * 2, s * 2, img.shape[2]), 114, dtype=np.uint8)  # base image with 4 tiles
                    x1a, y1a, x2a, y2a = max(xc - w, 0), max(yc - h, 0), xc, yc  # xmin, ymin, xmax, ymax (large image)
                    x1b, y1b, x2b, y2b = w - (x2a - x1a), h - (y2a - y1a), w, h  # xmin, ymin, xmax, ymax (small image)
                elif i == 1:  # top right
                    x1a, y1a, x2a, y2a = xc, max(yc - h, 0), min(xc + w, s * 2), yc
                    x1b, y1b, x2b, y2b = 0, h - (y2a - y1a), min(w, x2a - x1a), h
                elif i == 2:  # bottom left
                    x1a, y1a, x2a, y2a = max(xc - w, 0), yc, xc, min(s * 2, yc + h)
                    x1b, y1b, x2b, y2b = w - (x2a - x1a), 0, w, min(y2a - y1a, h)
                elif i == 3:  # bottom right
                    x1a, y1a, x2a, y2a = xc, yc, min(xc + w, s * 2), min(s * 2, yc + h)
                    x1b, y1b, x2b, y2b = 0, 0, min(w, x2a - x1a), min(y2a - y1a, h)
            else:
                if i == 0:  # top left
                    img4 = np.full((s_h * 2, s_w * 2, img.shape[2]), 114, dtype=np.uint8)  # base image with 4 tiles
                    x1a, y1a, x2a, y2a = max(xc - w, 0), max(yc - h, 0), xc, yc  # xmin, ymin, xmax, ymax (large image)
                    x1b, y1b, x2b, y2b = w - (x2a - x1a), h - (y2a - y1a), w, h  # xmin, ymin, xmax, ymax (small image)
                elif i == 1:  # top right
                    x1a, y1a, x2a, y2a = xc, max(yc - h, 0), min(xc + w, s_w * 2), yc
                    x1b, y1b, x2b, y2b = 0, h - (y2a - y1a), min(w, x2a - x1a), h
                elif i == 2:  # bottom left
                    x1a, y1a, x2a, y2a = max(xc - w, 0), yc, xc, min(s_h * 2, yc + h)
                    x1b, y1b, x2b, y2b = w - (x2a - x1a), 0, w, min(y2a - y1a, h)
                elif i == 3:  # bottom right
                    x1a, y1a, x2a, y2a = xc, yc, min(xc + w, s_w * 2), min(s_h * 2, yc + h)
                    x1b, y1b, x2b, y2b = 0, 0, min(w, x2a - x1a), min(y2a - y1a, h)

            img4[y1a:y2a, x1a:x2a] = img[y1b:y2b, x1b:x2b]  # img4[ymin:ymax, xmin:xmax]
            padw = x1a - x1b
            padh = y1a - y1b

            # Labels
            labels, segments = self.labels[index].copy(), self.segments[index].copy()
            if labels.size:
                labels[:, 1:] = xywhn2xyxy(labels[:, 1:], w, h, padw, padh)  # normalized xywh to pixel xyxy format
                segments = [xyn2xy(x, w, h, padw, padh) for x in segments]
            labels4.append(labels)
            segments4.extend(segments)

至此就完成了程序上的修改

附mosaic增强

        mosaic拼接并不是将图片进行4等份拼接。

 1:会随机设定中心点,然后这个中心点将数据分为4份,然后将图片填充到每一份中。

马赛克的中心点值,随机从-x —2*s+x 中随机抽选,一般X的值为-320,所以就变成 了  320-        -960中随机抽选中心值。

Step0:   初始化整幅图,将图片的像素都填充为114

Step1:读取当前要填充的图片,并获取图片的长和宽

Step2:    计算当前图片在大图中的位置 ,如果当前图片超过大图界限,越界部分就取消掉。

同时如果当前图片过小,填充不了大图给定的区域位置。

不管大图小图都要计算其在整幅图片中的位置,计算差异值,因为接下来要取更新标签(label)

(标签是相对于图片的位置的,如果当前图片放入大图中,没有完全占据左上角,那么不就多余

了部分空的区域了吗直接计算标签的话肯定偏移,所以要去除掉这些空的区域再取加载原来的图片的标签并且更新)

如果有label正好在边界上,就要修正或者裁剪掉超过边界的框

Step3:    连续放入图片

Step4:  对放入的图片进行随机的旋转,翻转 ,平移 缩放等等操作。

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
社会演员多的头像社会演员多普通用户
上一篇 2023年9月6日
下一篇 2023年9月6日

相关推荐