使用 OpenCV 串行执行线段分割（裁剪）

Question

我正在使用深度学习进行整页离线手写识别。

主要思想是建立一个模型，可以取一行文本图像并给出相应的文本。对于这个主要任务是对页面中的每一行进行行分割并将其发送到模型。

但是，我通过在此处看到的稍微修改来应用下面的代码。这里的主要问题是它随机裁剪图像的线条，我将其连续保存为 segment_no_1,2,3....

当我将这样的分段线（随机）传递给模型时，它无法生成串行对应的数字文本。

是否有合适的方法或算法可以像原始图像一样使用 OpenCV 串行执行线分割。我已经通过深度学习找到了线段分割，但我不想使用它。

我的代码：

import cv2

import numpy as np

#import image

image = cv2.imread('input2.png')

#cv2.imshow('orig',image)

#cv2.waitKey(0)

#grayscale

gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)

cv2.imshow('gray',gray)

cv2.waitKey(0)

#binary

ret,thresh = cv2.threshold(gray,127,255,cv2.THRESH_BINARY_INV)

cv2.imshow('second',thresh)

cv2.waitKey(0)

#dilation

kernel = np.ones((5,100), np.uint8)

img_dilation = cv2.dilate(thresh, kernel, iterations=1)

cv2.imshow('dilated',img_dilation)

cv2.waitKey(0)

#find contours

im2,ctrs, hier = cv2.findContours(img_dilation.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

#sort contours

sorted_ctrs = sorted(ctrs, key=lambda ctr: cv2.boundingRect(ctr)[0])

for i, ctr in enumerate(sorted_ctrs):

    # Get bounding box

    x, y, w, h = cv2.boundingRect(ctr)

    # Getting ROI

    roi = image[y:y+h, x:x+w]

    # show ROI

    cv2.imshow('segment no:'+str(i),roi)

    cv2.imwrite("segment_no_"+str(i)+".png",roi)

    cv2.rectangle(image,(x,y),( x + w, y + h ),(90,0,255),2)

    cv2.waitKey(0)

cv2.imwrite('final_bounded_box_image.png',image)

cv2.imshow('marked areas',image)

cv2.waitKey(0)

所述segment_no_1.png作为第一线段可从中间或有时倒数第二等上找到。

因此，需要进行哪些修改才能找到原始图像中的正确顺序（串行）的分段线。

对我的代码的任何改进也受到高度赞赏。提前致谢。

Answer 1

我认为你应该按照这个来展示使用 Python 和 OpenCV 排序轮廓。我遵循的基本步骤是：模糊图像，如有必要，首先转换为灰度。应用 Canny 边缘检测算法找到每个字符的轮廓。将检测到的边缘图像传递给自适应算法，该算法在考虑相邻点的情况下效果更好。执行扩张，在线分割效果更好。对随机产生段的扩张图像的副本执行线分割。最后按“从上到下”的顺序对段进行排序。