Depix 是一种从像素化屏幕截图中恢复纯文本的技术的 PoC。

此实现适用于使用线性框滤镜创建的像素化图像。

安装

• 安装依赖项
• 运行 Depix：

python3 depix.py \
    -p /path/to/your/input/image.png \
    -s images/searchimages/debruinseq_notepad_Windows10_closeAndSpaced.png \
    -o /path/to/your/output.png

• 对使用记事本创建的示例图像进行去像素化处理，并使用 Greenshot 进行像素化处理。Greenshot 通过对 gamma 编码的 0-255 值求平均值，这是 Demoix 的默认模式。

python3 depix.py \
    -p images/testimages/testimage3_pixels.png \
    -s images/searchimages/debruinseq_notepad_Windows10_closeAndSpaced.png

结果：

• 去像素化使用 Sublime 创建的示例图像并使用 Gimp 像素化，其中平均是在线性 sRGB 中完成的。backgroundcolor 选项筛选出编辑器的背景色。

python3 depix.py \
    -p images/testimages/sublime_screenshot_pixels_gimp.png \
    -s images/searchimages/debruin_sublime_Linux_small.png \
    --backgroundcolor 40,41,35 \
    --averagetype linear

结果：

• （可选）您可以查看 box detector thingie 是否使用 找到您的像素。如果这看起来全部被破坏，请考虑较小的像素批次。好看的盒子示例：tool_show_boxes.py

python3 tool_show_boxes.py \ 
    -p images/testimages/testimage3_pixels.png \
    -s images/searchimages/debruinseq_notepad_Windows10_closeAndSpaced.png

• （可选）您可以使用 创建像素化图像。tool_gen_pixelated.py

python3 tool_gen_pixelated.py -i /path/to/image.png -o pixed_output.png

• 有关详细说明，请尝试运行 和 。$ python3 depix.py -htool_gen_pixelated.py

• 从屏幕截图中将像素化块剪切为单个矩形。
• 将带有预期字符的 De Bruijn 序列粘贴到编辑器中，其字体设置与输入图像相同（相同的文本大小、相似的字体、相同的颜色）。
• 制作序列的屏幕截图。
• 将该屏幕截图移动到类似 的文件夹中。images/searchimages/
• 运行 Depix 并将标志设置为此屏幕截图的位置。-s

• 完全剪掉像素化的块。有关示例，请参阅 。testimages
• 它尝试检测块，但并没有做得非常出色。如果您的块没有被正确检测到，请使用脚本和不同的切口。tool_show_boxes.py

该算法利用了 linear box filter 单独处理每个 block 的事实。对于每个块，它会像素化搜索图像中的所有块以检查直接匹配项。

对于某些像素化图像，Depix 设法找到单匹配结果。它假设这些是正确的。然后将周围多重匹配块的匹配项进行比较，使其在几何上与像素化图像中的距离相同。匹配项也被视为正确。此过程重复几次。

在正确的块不再有几何匹配后，它将直接输出所有正确的块。对于多对局区块，它输出所有对局的平均值。

• 该算法按整数块边界进行匹配。因此，它的基本假设是，对于呈现的所有字符（在 de Brujin 序列和像素化图像中），文本定位是在像素级别完成的。但是，某些现代文本光栅器将文本定位为亚像素精度。
• 您需要了解字体规格，在某些情况下还需要了解拍摄屏幕截图的屏幕设置。但是，如果原始图像中有足够的纯文本，则可以将原始图像用作搜索图像。
• 如果执行额外的图像压缩，这种方法不起作用，因为它会弄乱块的颜色。