在进行深度学习训练的时候,我们往往会面临数据集不够的情况,需要进行数据集的扩充,数据集的扩充有多种多样的方式,在这里总结了7种数据扩充的方法对数据进行数据增强,包括:亮度增强,对比度增强,翻转图像,仿射变化扩充图像,错切变化扩充图像,HSV数据增强7种方法对数据进行增强。
前四种方法很容易理解。仿射变化和交错变化的原理请参考:
数据增广:旋转,缩放,平移以及错切_太阳花的小绿豆的博客-CSDN博客
HSV数据增强的原理请参考:
HSV模型简介以及利用HSV模型随机增强图像_太阳花的小绿豆的博客-CSDN博客_hsv模型
废话不多说,直接贴代码吧:以下代码的操作都是批量操作
在我们进行数据扩充之前,我们面临一个问题就是,我们收集的图片可能存在不同种格式的例如:png jpg bmp等,为了更好的进行数据扩充,我们首先需要将图片统一调整为jpg格式的。
代码显示如下:
import cv2 as cv
import os
data = ('begin')#输入放置图片的文件夹,当前文件夹下 新建个文件夹,放入即可这里写文件夹的名字
daddir = './'
old_path = daddir + data + '\\'
new_path = 'jpg'#新文件夹用来存储转换之后的图片的 当前文件夹下 新建个文件夹,放入即可这里写文件夹的名字
if not os.path.exists(new_path):
os.mkdir(new_path)
print('开始转换' )
print('转换后的文件存入 ' + new_path + '文件夹中')
path_list = os.listdir(old_path)
path_list.sort()
for filename in path_list:
portion = os.path.splitext(filename)
src = cv.imread(old_path + filename)
cv.imwrite(new_path + '\\' + portion[0] + '.jpg', src)
print('转换完毕,文件已经存入 ' + new_path + ' 中')
在代码的当前文件夹下,新建一个名为begin的文件夹用于存放需要转换的图片,新建一个名为jpg的文件夹用于存放转换后的图片。
当我们将所有图片都转换为jpg格式之后,我们就可以开始进行数据扩充了,我们根据七种数据扩充方法,对数据集进行扩充,每种方法扩充一张相当于七种方法可以使得原来的数据集扩充七倍。
代码显示如下:
import math
import cv2
import numpy
from PIL import ImageEnhance
import os
import numpy as np
from PIL import Image
def brightnessEnhancement(root_path,img_name):#亮度增强
image = Image.open(os.path.join(root_path, img_name))
enh_bri = ImageEnhance.Brightness(image)
# brightness = 1.1+0.4*np.random.random()#取值范围1.1-1.5
brightness = 1.5
image_brightened = enh_bri.enhance(brightness)
return image_brightened
def contrastEnhancement(root_path, img_name): # 对比度增强
image = Image.open(os.path.join(root_path, img_name))
enh_con = ImageEnhance.Contrast(image)
# contrast = 1.1+0.4*np.random.random()#取值范围1.1-1.5
contrast = 1.5
image_contrasted = enh_con.enhance(contrast)
return image_contrasted
def rotation(root_path, img_name):
img = Image.open(os.path.join(root_path, img_name))
random_angle = np.random.randint(-2, 2)*90
if random_angle==0:
rotation_img = img.rotate(-90) #旋转角度
else:
rotation_img = img.rotate( random_angle) # 旋转角度
# rotation_img.save(os.path.join(root_path,img_name.split('.')[0] + '_rotation.jpg'))
return rotation_img
def flip(root_path,img_name): #翻转图像
img = Image.open(os.path.join(root_path, img_name))
filp_img = img.transpose(Image.FLIP_LEFT_RIGHT)
# filp_img.save(os.path.join(root_path,img_name.split('.')[0] + '_flip.jpg'))
return filp_img
def fangshe_bianhuan(root_path,img_name): #仿射变化扩充图像
img = Image.open(os.path.join(root_path, img_name))
img = cv2.cvtColor(numpy.asarray(img) , cv2.COLOR_RGB2BGR)
h, w = img.shape[0], img.shape[1]
m = cv2.getRotationMatrix2D(center=(w // 2, h // 2), angle=-30, scale=0.5)
r_img = cv2.warpAffine(src=img, M=m, dsize=(w, h), borderValue=(0, 0, 0))
r_img = Image.fromarray(cv2.cvtColor(r_img, cv2.COLOR_BGR2RGB))
return r_img
def cuoqie(root_path,img_name): #错切变化扩充图像
img = Image.open(os.path.join(root_path, img_name))
img = cv2.cvtColor(numpy.asarray(img) , cv2.COLOR_RGB2BGR)
h, w = img.shape[0], img.shape[1]
origin_coord = np.array([[0, 0, 1], [w, 0, 1], [w, h, 1], [0, h, 1]])
theta = 30 # shear角度
tan = math.tan(math.radians(theta))
# x方向错切
m = np.eye(3)
m[0, 1] = tan
shear_coord = (m @ origin_coord.T).T.astype(np.int)
shear_img = cv2.warpAffine(src=img, M=m[:2],
dsize=(np.max(shear_coord[:, 0]), np.max(shear_coord[:, 1])),
borderValue=(0, 0, 0))
c_img = Image.fromarray(cv2.cvtColor(shear_img, cv2.COLOR_BGR2RGB))
return c_img
def hsv(root_path,img_name):#HSV数据增强
h_gain , s_gain , v_gain = 0.5 , 0.5 , 0.5
img = Image.open(os.path.join(root_path, img_name))
img = cv2.cvtColor(numpy.asarray(img) , cv2.COLOR_RGB2BGR)
r = np.random.uniform(-1, 1, 3) * [h_gain, s_gain, v_gain] + 1 # random gains
hue, sat, val = cv2.split(cv2.cvtColor(img, cv2.COLOR_BGR2HSV))
dtype = img.dtype # uint8
x = np.arange(0, 256, dtype=np.int16)
lut_hue = ((x * r[0]) % 180).astype(dtype)
lut_sat = np.clip(x * r[1], 0, 255).astype(dtype)
lut_val = np.clip(x * r[2], 0, 255).astype(dtype)
img_hsv = cv2.merge((cv2.LUT(hue, lut_hue), cv2.LUT(sat, lut_sat), cv2.LUT(val, lut_val))).astype(dtype)
aug_img = cv2.cvtColor(img_hsv, cv2.COLOR_HSV2BGR)
aug_img = Image.fromarray(cv2.cvtColor(aug_img, cv2.COLOR_BGR2RGB))
return aug_img
def createImage(imageDir,saveDir):#主函数,7种数据扩充方式,每种扩充一张
i=0
for name in os.listdir(imageDir):
i=i+1
saveName="cesun"+str(i)+".jpg"
saveImage=contrastEnhancement(imageDir,name)
saveImage.save(os.path.join(saveDir,saveName))
saveName1 = "flip" + str(i) + ".jpg"
saveImage1 = flip(imageDir,name)
saveImage1.save(os.path.join(saveDir, saveName1))
saveName2 = "brightnessE" + str(i) + ".jpg"
saveImage2 = brightnessEnhancement(imageDir, name)
saveImage2.save(os.path.join(saveDir, saveName2))
saveName3 = "rotate" + str(i) + ".jpg"
saveImage = rotation(imageDir, name)
saveImage.save(os.path.join(saveDir, saveName3))
saveName4 = "fangshe" + str(i) + ".jpg"
saveImage = fangshe_bianhuan(imageDir, name)
saveImage.save(os.path.join(saveDir, saveName4))
saveName5 = "cuoqie" + str(i) + ".jpg"
saveImage = cuoqie(imageDir, name)
saveImage.save(os.path.join(saveDir, saveName5))
saveName6 = "hsv" + str(i) + ".jpg"
saveImage = hsv(imageDir, name)
saveImage.save(os.path.join(saveDir, saveName6))
imageDir="jpg" #要改变的图片的路径文件夹 在当前文件夹下,建立文件夹即可
saveDir="kuochong" #数据增强生成图片的路径文件夹
print('文件的初始文件夹为:' + imageDir)
print('----------------------------------------')
print('文件的转换后存入的文件夹为:' + saveDir)
print('----------------------------------------')
print('开始转换')
print('----------------------------------------')
createImage(imageDir,saveDir)
print('----------------------------------------')
print("数据扩充完成")
在代码的当前文件夹下,新建一个名为kuochong的文件夹用来存放扩充之后的数据集。转换成功之后即可得到增强之后的数据集。
图像缩放,我们收集的数据图像的大小往往不是固定的比例,但是神经网络的输入一般是固定的比例,所以我们需要在进入网络之前将所有的图像缩放到统一的大小训练。
图像缩放代码:
import os
import cv2
# 原图片存放文件夹
olapath = r'resize_begin'
# 修改后存放文件夹
newpath = r'resize_end\\'
# 读文件夹下所有图片名称
data = os.listdir(olapath)
print('----------------------------------------')
print("开始修改尺寸!")
print('----------------------------------------')
for image in data:
img = cv2.imread(olapath + "\\" + image)
H, W = img.shape[0], img.shape[1]
width = 120 #需要缩放成多大,这里直接修改就行,我这里是缩放成120*120,根据自己的需要修改成响应的数值即可
height = 120
img = cv2.resize(img, (width, height), interpolation=cv2.INTER_AREA)
# 保存图片
cv2.imwrite(newpath + image, img)
print("尺寸修改完毕!")
print('----------------------------------------')
代码下载链接:
链接:https://pan.baidu.com/s/1CIu1QkNvNsR_7W5LE2Mgbg
提取码:kp2r
文章出处登录后可见!