我正在处理带有扭曲/旋转文本的图像。在对它们运行 OCR 之前,我需要将这些文本 blob 旋转回水平(0 度)。我设法解决了旋转问题,但现在我需要找到一种方法将原始轮廓的内容复制到旋转后的矩阵。
以下是我为提取和修复旋转问题所做的一些事情:
- 寻找轮廓
- 大量扩张并删除非文本行
- 找到轮廓角并在极空间中进行角度校正。
我曾尝试使用仿射变换来旋转矩形文本 block ,但由于某些文本 block 是不规则的,所以最终裁掉了一些文本。 Result here
轮廓中的蓝点是质心,数字是轮廓角。如何复制未旋转轮廓的内容,旋转它们并复制到新图像?
代码
def getContourCenter(contour):
M = cv2.moments(contour)
if M["m00"] != 0:
cx = int(M['m10']/M['m00'])
cy = int(M['m01']/M['m00'])
else:
return 0, 0
return int(cx), int(cy)
def rotateContour(contour, center: tuple, angle: float):
def cart2pol(x, y):
theta = np.arctan2(y, x)
rho = np.hypot(x, y)
return theta, rho
def pol2cart(theta, rho):
x = rho * np.cos(theta)
y = rho * np.sin(theta)
return x, y
# Translating the contour by subtracting the center with all the points
norm = contour - [center[0], center[1]]
# Convert the points to polar co-ordinates, add the rotation, and convert it back to Cartesian co-ordinates.
coordinates = norm[:, 0, :]
xs, ys = coordinates[:, 0], coordinates[:, 1]
thetas, rhos = cart2pol(xs, ys)
thetas = np.rad2deg(thetas)
thetas = (thetas + angle) % 360
thetas = np.deg2rad(thetas)
# Convert the new polar coordinates to cartesian co-ordinates
xs, ys = pol2cart(thetas, rhos)
norm[:, 0, 0] = xs
norm[:, 0, 1] = ys
rotated = norm + [center[0], center[1]]
rotated = rotated.astype(np.int32)
return rotated
def straightenText(image, vis):
# create a new mat
mask = 0*np.ones([image.shape[0], image.shape[1], 3], dtype=np.uint8)
# invert pixel index arrangement and dilate aggressively
dilate = cv2.dilate(~image, ImageUtils.box(33, 1))
# find contours
_, contours, hierarchy = cv2.findContours(dilate, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)
for contour in contours:
[x, y, w, h] = cv2.boundingRect(contour)
if w > h:
# find contour angle and centers
(x, y), (w, h), angle = cv2.minAreaRect(contour)
cx, cy = getContourCenter(contour)
# fix angle returned
if w < h:
angle = 90 + angle
# fix contour angle
rotatedContour = rotateContour(contour, (cx, cy), 0-angle)
cv2.drawContours(vis, contour, -1, (0, 255, 0), 2)
cv2.drawContours(mask, rotatedContour, -1, (255, 0, 0), 2)
cv2.circle(vis, (cx, cy), 2, (0, 0, 255), 2, 8) # centroid
cv2.putText(vis, str(round(angle, 2)), (cx, cy), cv2.FONT_HERSHEY_SIMPLEX, 0.8, (255,0,0), 2)
最佳答案
这是一种方法,这是我能想到的在 Python/OpenCV 中执行此操作的最简单方法,但在速度上可能不是最佳方法。
为所需的输出创建一个白色的空图像。 (所以我们有白底黑字,以防您需要进行 OCR)
在输入中获取轮廓的旋转边界矩形。
在输出中获取轮廓的正常边界矩形。
获取每个边界框的 4 个角。
计算两组4角之间的仿射变换矩阵 积分。
将(整个)输入图像变形为相同大小(非最佳)。
使用输出边界框尺寸和左上角 numpy 切片将变形图像中的区域转移到相同的区域 白色输出图像中的区域。
使用生成的图像代替每个文本轮廓重复 原始白色图像作为新的目标图像。
所以这里有一个模拟来告诉你怎么做。
源文本图像:
带有红色旋转矩形的源文本图像:
白色目标图像中所需的边界矩形:
文本转移到白色图像到所需的矩形区域:
代码:
import cv2
import numpy as np
# Read source text image.
src = cv2.imread('text_on_white.png')
hs, ws, cs = src.shape
# Read same text image with red rotated bounding box drawn.
src2 = cv2.imread('text2_on_white.png')
# Read white image showing desired output bounding box.
src2 = cv2.imread('text2_on_white.png')
# create white destination image
dst = np.full((hs,ws,cs), (255,255,255), dtype=np.uint8)
# define coordinates of bounding box in src
src_pts = np.float32([[51,123], [298,102], [300,135], [54,157]])
# size and placement of text in dst is (i.e. bounding box):
xd = 50
yd = 200
wd = 249
hd = 123
dst_pts = np.float32([[50,200], [298,200], [298,234], [50,234]])
# get rigid affine transform (no skew)
# use estimateRigidTransform rather than getAffineTransform so can use all 4 points
matrix = cv2.estimateRigidTransform(src_pts, dst_pts, 0)
# warp the source image
src_warped = cv2.warpAffine(src, matrix, (ws,hs), cv2.INTER_AREA, borderValue=(255,255,255))
# do numpy slicing on warped source and place in white destination
dst[yd:yd+hd, xd:xd+wd] = src_warped[yd:yd+hd, xd:xd+wd]
# show results
cv2.imshow('SRC', src)
cv2.imshow('SRC2', src2)
cv2.imshow('SRC_WARPED', src_warped)
cv2.imshow('DST', dst)
cv2.waitKey(0)
cv2.destroyAllWindows()
# save results
cv2.imwrite('text_on_white_transferred.png', dst)
关于python - OpenCV 在轮廓旋转后将不规则轮廓区域复制到另一幅图像,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58657014/