python - 如何使用 OCR 从低分辨率图像中获得更好/准确的结果

Question

我使用 pytesseract 在 python 中编写了一个脚本，以将文本嵌入到图像中。当我运行我的脚本时，抓取工具的工作很奇怪，这意味着我得到的结果文本与图像中的完全不同。

我试过的脚本:

import requests, io, pytesseract
from PIL import Image

response = requests.get('http://skoleadresser.no/4DCGI/WC_Pedlex_Adresse/864928.jpg')
img = Image.open(io.BytesIO(response.content))
imagetext = pytesseract.image_to_string(img)
print(imagetext)

图片中的文字看起来像:

我得到的结果:

Adresse WM 0an Hanssensm 7 A
4u21 Slavanqer

warm 52 m so no

Te‘efaks 52 m 90 m

E'Dus‘x Van’s strandflanlmu

怎样才能得到准确的结果？

Answer 1

tl;dr:

import requests
import io
import pytesseract
from PIL import Image

response = requests.get('http://skoleadresser.no/4DCGI/WC_Pedlex_Adresse/864928.jpg')
img = Image.open(io.BytesIO(response.content))
width, height = img.size
new_size = width*6, height*6
img = img.resize(new_size, Image.LANCZOS)
img = img.convert('L')
img = img.point(lambda x: 0 if x < 155 else 255, '1')
imagetext = pytesseract.image_to_string(img)

print(imagetext)

结果:

Adresse Prof. Olav Hanssens vei 7 A
4021 Stavanger

Telefon 52 70 90 00

Telefaks 52 70 90 01

E-post vanja.strand@aof.no

说明/方法

OCR 旨在扫描以高分辨率扫描的打印、手写或打字文档中的字母，基本上没有模糊 - 也许存在一些专用于扫描低分辨率和大量数字图像的工具模糊，但通常他们无法以任何合理的速度从此类输入数据中猜出字母 - 它太模糊且像素太少，以至于 OCR 工具无法利用这些数据做出有用的事情。

尽管如此，这听起来好像几乎没有机会让它工作 - 只是放大它而不进行任何进一步处理并不能解决问题，正如您稍后会看到的那样，图像仍然离得太远类似于打字/打印的文本。

我对比例因子进行了一些试验和错误，发现 6 对这张图片效果最好，所以:

width, height = img.size
new_size = width*6, height*6

在不进行任何重采样的情况下将其放大 6 倍:

img = img.resize(new_size)

给了我们这张图片，它非常无用，因为它基本上与以前完全相同的不可读图片，只是 1px*1px 现在是 6px*6px(注意字母之间几乎相交的灰色区域 - 特别是 Pr、s 和k 会导致大问题):

幸运的是，有一些重采样公式可以提供非常好的结果，对于 PIL，有 PIL.Image.LANCZOS(以及其他)应用了 Lanczos resampling formula :

img = img.resize(new_size, Image.LANCZOS)

乍一看差异似乎并不大 - 但现在我们可以更好地填充字母而不是那些黑色和灰色 block - 以及更自然的模糊，我们可以在下一步中使用它。现在查看 Pr、s 和 k，我们发现它们不再相交了。

为了使图像看起来更像实际打印的文档，接下来需要做什么，通过去除模糊使其变成黑白 - 第一步是使图像在 模式 L 下工作>(8 位像素黑白)

img = img.convert('L')

当然这几乎没有区别，因为源图像是白色背景上的黑色文本 - 但您仍然需要此步骤才能使用亮度阈值将其转换为黑白图像。

这是通过评估图像中的每个像素的 8 位值来完成的 - 开始尝试的一个好的值是 128，它是 50% 的黑色:

img = img.point(lambda x: 0 if x < 128 else 255, '1')

这给了我们一个太细的文本 - OCR 工具会将大多数 5 识别为 S，将一些 0 识别为O:

现在将亮度阈值设置为 200，我们得到以下图像:

OCR 工具可以处理此文本，因为它看起来就像一个粗体字体 - 但如前所述，OCR 工具旨在扫描正常打印的文本，因此它很可能无法识别图像中的实际粗体文本，因为与普通文本相比，它太粗了。

让我们将阈值设置在 128 和 200 之间的某处，以便我们获得看起来自然的打印文本 - 通过反复试验，我发现 155 效果很好，并使其看起来与原始图像中的字体粗细相同:

由于这看起来非常像打印质量不佳的黑白文档的高分辨率扫描，因此 OCR 工具现在可以正常工作。