opencv项目实践二(银行卡卡号识别)

使命宣言

opencv项目实践二(银行卡卡号识别)
打印银行卡号

完成

1. 想法
1、定位银行卡卡号数字区域
2、将银行卡每个卡号数字单独提取出来
3、处理模板图片,将每个模板数字单独提取出来
4、通过模板匹配来识别每个卡号

二、具体代码实现
1、处理模板
卡号号码模板
opencv项目实践二(银行卡卡号识别)

# 读取模板图片
img_m = cv2.imread("ocr_a_reference.png",1)
img_m_g = cv2.cvtColor(img_m,cv2.COLOR_BGR2GRAY)
# 反二值化处理,常见的二值图像一般前景为白色,背景为黑色
img_m_g = cv2.threshold(img_m_g,0,255,cv2.THRESH_OTSU|cv2.THRESH_BINARY_INV)[1]
# 查找图像的轮廓
img_m_g_con = cv2.findContours(img_m_g,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE)[0]
img_m_g_dst = cv2.drawContours(img_m.copy(),img_m_g_con,-1,(0,0,255),2)
imshow(img_m_g_dst)

opencv项目实践二(银行卡卡号识别)
拆分每个模板编号并保存到字典

# 画模板图片的矩形包围盒
l1 = []
for con in img_m_g_con:
    (x,y,w,h) = cv2.boundingRect(con)
    l1.append(x)
    
# 将其包围盒按照x坐标排序,这样就得到了按序排列的0~9模板数字图片,
#(因为查找得到的模板是无序的,排序后可以确认每个模板对应的数字)
(img_m_g_con,l1) = zip(*sorted(zip(img_m_g_con,l1),key=lambda x :x[1],reverse=False))
# 将模板数字图像分割开
digits = {}
for i,con in enumerate(img_m_g_con):
    (x,y,w,h) = cv2.boundingRect(con)
    roi = img_m_g[y:y+h,x:x+w]
#     (57,88)为调整后的模板图像的大小,也可以设置为其他大小
    digits[i] = cv2.resize(roi,(57,88))
#     imshow(digits[i])
# 至此,从0到9的模板图像已经保存在了digits中,模板图像就处理完了。

2、处理银行卡图片

# 加载
img_card = cv2.imread("credit_card_01.png",1)
img_card_gray = cv2.cvtColor(img_card,cv2.COLOR_BGR2GRAY)

# 顶帽操作,原始图像-开运算图像,作用:提取噪音、高亮的区域。
kernel = np.ones((5,5))
tophat = cv2.morphologyEx(img_card_gray,cv2.MORPH_TOPHAT,kernel)
imshow(tophat)

opencv项目实践二(银行卡卡号识别)
寻找图像的梯度(边缘)的目的是为了便于后续的形态学操作,将目标区域连接在一起。

#求图像梯度
grady =  cv2.Sobel(tophat,ddepth = cv2.CV_32F,dx=0,dy=1,ksize = 3)
# Sobel计算出来的像素值类似为float,需要将其规范到(0~255),并且将其格式转为Uint8
grady = cv2.convertScaleAbs(grady)
# imshow(grady)
gradx = cv2.Sobel(tophat,ddepth = cv2.CV_32F,dx=1,dy=0,ksize=3)
gradx = cv2.convertScaleAbs(gradx)
# imshow(gradx) 
# 将X方向的梯度和Y方向的梯度融合。
# 只用单方向梯度也可以达到目的
grad = cv2.addWeighted(gradx,0.5,grady,0.5,0)
imshow(grad)
#使用Canny边缘检测,也可以得到类似的效果

opencv项目实践二(银行卡卡号识别)
将目标区域连接在一起的形态学操作

# 接下来执行闭操作(先腐蚀后膨胀)一是为了去除一些白色小点噪音,二是将单独的数字给连接成一个小区域
kernel = np.ones((3,3))
grad_close = cv2.morphologyEx(grad,cv2.MORPH_CLOSE,kernel,iterations = 1)
imshow(grad_close)
grad_dst = cv2.threshold(grad_close,0,255,cv2.THRESH_OTSU)[1]
# imshow(grad_dst)
# 注意到第三个区域还没有连通,继续进行闭操作
grad_close = cv2.morphologyEx(grad_dst,cv2.MORPH_CLOSE,kernel,iterations=8)
imshow(grad_close)

平仓操作的次数与银行卡的格式有严格的关系,不同格式的银行卡要设置不同的参数,参数值是通过实验经验得出的。
其主要目的是将目标区域连接在一起,要求连接区域不能包含额外的区域。例如,如果参数设置过大,则将左侧目标区域连接到下部区域。如果设置太小,将无法连接目标区域。
opencv项目实践二(银行卡卡号识别)

# 目标区域已经完全连通,接下来进行轮廓检测,画包围盒,然后再进行筛选
gradcon = cv2.findContours(grad_close,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE)[0]
dst = cv2.drawContours(img_card.copy(),gradcon,-1,(0,0,255),2)
imshow(dst)
# 筛选合适的轮廓,筛选参数值是通过经验获取的,可以将各个轮廓的w,h打印后观察。
losc = []
for con in gradcon:
    (x,y,w,h) = cv2.boundingRect(con)
    ar = w/h
    #print(x,y,w,h)
    if ar >2.4 and ar <3.5: 
        if w>155 or w<85:
            continue 
        losc.append((x,y,w,h))
# 对矩形包围框按照坐标进行排序,排序目的和前面对模板数字图片的排序目的相同。
sort_losc = sorted(losc,key = lambda x :x[0],reverse=False)
# 排序后的包围盒顺序
# for i in sort_losc:
#     x,y,w,h = i[0],i[1],i[2],i[3]
#     con = np.array([[[x,y],[x+w,y],[x+w,y+h],[x,y+h]]])
#     dst = cv2.drawContours(img_card.copy(),con,-1,(0,0,255),2)
#     imshow(dst)
# 得到了每个目标的包围框,然后把包围框包围的区域截取出一下
img_part = []
for i in sort_losc:
    x,y,w,h = i[0],i[1],i[2],i[3]
    con = np.array([[[x,y],[x+w,y],[x+w,y+h],[x,y+h]]])
    img_part.append(img_card[y:y+h,x:x+w])
    imshow(img_card[y:y+h,x:x+w])

opencv项目实践二(银行卡卡号识别)opencv项目实践二(银行卡卡号识别)opencv项目实践二(银行卡卡号识别)opencv项目实践二(银行卡卡号识别)
然后对每个小区域进行处理,得到每个卡号的数字区域

# 接下来获取每个数字。
digital = []
def f(img):
    img_gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    img_2 = cv2.threshold(img_gray,0,255,cv2.THRESH_OTSU)[1]
#    获取轮廓可以进行先Canny检测,再画轮廓,也可以之前求梯度的方法
#    在这里可以直接进行轮廓查找,因为我们需要查找的是每个数字的轮廓,每个数字都是连通的
    imgcon = cv2.findContours(img_2,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_NONE)[0]
    new_con = []
    #筛选
    for con in imgcon:
        (x,y,w,h) = cv2.boundingRect(con) 
        if h>35 or w<15:
            continue
        new_con.append((x,y,w,h))
    #排序,目的和前面的类似
    sort_con = sorted(new_con,key = lambda x:x[0]) 
    for i in sort_con:
        x,y,w,h = i[0],i[1],i[2],i[3]
        con = np.array([[[x,y],[x+w,y],[x+w,y+h],[x,y+h]]])
        roi = img_2[y-1:y+h+1,x-1:x+w+1]
        #注意数字图片区域和模板图片区域要大小要保持一致
        digital.append(cv2.resize(roi,(57,88)))
for i in img_part:
    f(i)
# for i in digital:
#     imshow(i)

opencv项目实践二(银行卡卡号识别)opencv项目实践二(银行卡卡号识别)opencv项目实践二(银行卡卡号识别)opencv项目实践二(银行卡卡号识别)

3、模板匹配

# 接下来进行模板匹配
ans = []
for img_dig in digital:
    now = []
    for (dig,digroi) in digits.items():
        res = cv2.matchTemplate(img_dig,digroi,cv2.TM_CCOEFF_NORMED)
        now.append(res.item()) 
    ans.append(now.index(max(now)))
    now.clear()
print(ans)

opencv项目实践二(银行卡卡号识别)

cv2.matchTemplate是用于模板匹配的函数,第一个参数为待匹配图像,第二个参数为模板图像,模板图像和原图像的大小要保持一致,第三个参数为匹配方式。返回值越大,相似度越高。

存在的问题:
1、不同格式的银行卡图片需要对参数进行幅度较大的改动。
2、没有考虑银行卡图片倾斜的情况,如果输入的银行卡图片在输入的图片中只是倾斜的,可以使用透视变换进行校正,具体做法可以参考上一篇blog(答题卡识别)

版权声明:本文为博主棒子胡豆原创文章,版权归属原作者,如果侵权,请联系我们删除!

原文链接:https://blog.csdn.net/qq_44805233/article/details/123192913

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
心中带点小风骚的头像心中带点小风骚普通用户
上一篇 2022年3月3日
下一篇 2022年3月3日

相关推荐