c++ - OpenCV 中的快速颜色量化

Question

如何使用 OpenCV (+ C++) 以最快的方式减少图像中不同颜色的数量？我不想要完整的代码。我已经在使用 kmeans 了，但速度不是很快。这是我的代码中缓慢的部分:

kmeans(samples, clusterCount, labels,
    TermCriteria(TermCriteria::EPS + TermCriteria::COUNT, 10, 10.0),
    1, KMEANS_RANDOM_CENTERS, centers);

这段代码需要几秒钟的时间来处理，这对我来说非常慢。我为此使用了 Matlab( rgb2ind )，速度很快。几乎 0.01 秒。

我想将我的代码用于用户期望程序快速的生产环境。

有没有替代 kmeans 的颜色量化方法？有什么方法可以更快地运行 kmeans(我不这么认为，因为我尝试了许多不同的参数)？

编辑:
原来颜色量化是一个非常复杂的话题，需要时间来编写一个好的优化的。我决定使用 Magick++ (ImageMagick API)为了这。
因此，我还没有尝试过 Cris Luengo 的新(编辑)答案。但我将其标记为答案(也请查看评论)，以免其他人认为此问题未得到解答。

Answer 1

有很多方法可以量化颜色。这里我描述四个。
均匀量化
这里我们使用颜色均匀分布的颜色图，无论它们是否存在于图像中。在 MATLAB 中，你会写

qimg = round(img*(N/255))*(255/N);

将每个 channel 量化为 N级别(假设输入在 [0,255] 范围内。您也可以使用 floor ，这在某些情况下更合适。这会导致 N^3 不同的颜色。例如，使用 N=8 您会得到 512 种独特的 RGB 颜色.
K均值聚类
这是生成自适应调色板的“经典”方法。显然，它将是最昂贵的。 OP 正在对所有像素的集合应用 k 均值。相反，k-means 可以应用于颜色直方图。过程是相同的，但不是 1000 万个数据点(现在的典型图像)，您可能只有 32^3 = 33000 个。在处理自然照片时，由减少 bin 数量的直方图引起的量化在这里几乎没有影响。如果您要量化具有有限颜色集的图形，则不需要进行 k 均值聚类。
您对所有像素进行一次遍历以创建直方图。接下来，您运行常规 k 均值聚类，但使用直方图箱。每个数据点现在也有一个权重(该 bin 内的像素数)，您需要考虑到这一点。算法中确定聚类中心的步骤会受到影响。您需要计算数据点的加权平均值，而不是常规平均值。
结果受初始化的影响。
八叉树量化
八叉树是一种用于空间索引的数据结构，其中通过将每个轴切成两半，将体积递归地划分为 8 个子体积。因此，树由节点组成，每个节点有 8 个子节点。对于颜色量化，RGB 立方体由八叉树表示，并计算每个节点的像素数(这相当于构建颜色直方图，并在其上构建八叉树)。接下来，叶节点被移除，直到留下所需数量的叶节点。删除叶节点一次发生 8 个，这样上一层的节点就变成了叶节点。选择修剪哪些节点有不同的策略，但它们通常围绕修剪像素数低的节点。
这是 Gimp 使用的方法。
因为八叉树总是从中间 split 节点，所以它不如 k-means 聚类或 next 方法灵活。
最小方差量化
MATLAB's rgb2ind ，OP 提到，做均匀量化和他们称之为“最小方差量化”的东西:

Minimum variance quantization cuts the RGB color cube into smaller boxes (not necessarily cubes) of different sizes, depending on how the colors are distributed in the image.

我不确定这意味着什么。 This page没有给出更多信息，但它有一个看起来像 RGB 立方体的 k-d 树分区的图形。 K-d 树是空间索引结构，它递归地将空间数据分成两半。在每一层，您选择分离度最大的维度，然后沿该维度拆分，生成一个额外的叶节点。与八叉树相反， split 可以发生在最佳位置，而不是在节点的中间。
使用空间索引结构(k-d 树或八叉树)的优点是颜色查找非常快。您从根开始，根据 R、G 或 B 值做出二元决策，直到到达叶节点。不需要像 k-means 那样计算到每个原型(prototype)集群的距离。
【两周后编辑】我一直在想一个可能的实现，而came up with one .这是算法:

全彩色直方图被认为是一个分区。这将是 k-d 树的根，它现在也是叶节点，因为还没有其他节点。

创建优先队列。它包含 k-d 树的所有叶节点。优先级由分区沿一个轴的方差减去两半的方差(如果我们要沿该轴拆分分区)给出。选择分割位置使得两半的方差最小(使用 Otsu 算法)。也就是说，优先级越大，我们通过拆分减少的总方差就越多。对于每个叶节点，我们为每个轴计算这个值，并使用最大的结果。

我们处理队列上的分区，直到我们拥有所需的分区数:

我们沿着轴和在确定优先级时计算的位置分割具有最高优先级的分区。

我们计算两半的优先级，并将它们放在队列中。

以这种方式描述时，这是一个相对简单的算法，the code有点复杂，因为我试图使其高效但通用。
比较
在 256x256x256 RGB 直方图上，我得到了这些时间比较 k-means 聚类和这个新算法:


# 簇
kmeans (s)
最小变量


5
3.98
0.34

20
17.9
0.48

50
220.8
0.59


请注意，随着集群数量的增加，k-means 需要更多的迭代，因此指数时间增加。通常人们不会使用这么大的直方图，我希望拥有大量数据以使时序更加稳健。
以下是应用于测试图像的这三种方法的示例:
输入:

制服搭配 N=4导致多达 64 种不同的颜色 [使用 N=2得到8种不同的颜色和其他方法相比，结果非常难看]:

8 种颜色的 K 均值:

具有 8 种颜色的新“最小方差”:

我比 K 均值结果更喜欢最后一个结果，尽管它们非常相似。

该程序说明了如何使用 DIPlib 进行颜色量化及其最小方差分区的实现:

#include "diplib.h"
#include "dipviewer.h"
#include "diplib/simple_file_io.h"
#include "diplib/histogram.h"
#include "diplib/segmentation.h"
#include "diplib/lookup_table.h"

int main() {
   dip::Image input = dip::ImageRead( "/Users/cris/dip/images/flamingo.tif" );
   input.SetColorSpace( "RGB" ); // This image is linear RGB, not sRGB as assumed when reading RGB TIFFs.

   // Compute the color histogram.
   dip::Histogram hist( input, {}, { dip::Histogram::Configuration( 0.0, 255.0, 64 ) } );

   // Cluster the histogram, the output histogram has a label assigned to each bin.
   // Each label corresponds to one of the clusters.
   dip::uint nClusters = 8;
   dip::Image histImage = hist.GetImage(); // Copy with shared data
   dip::Image tmp;
   dip::CoordinateArray centers = dip::MinimumVariancePartitioning( histImage, tmp, nClusters );
   histImage.Copy( tmp ); // Copy 32-bit label image into 64-bit histogram image.

   // Find the cluster label for each pixel in the input image.
   dip::Image labels = hist.ReverseLookup( input );

   // The `centers` array contains histogram coordinates for each of the centers.
   // We need to convert these coordinates to RGB values by multiplying by 4 (=256/64).
   // `centers[ii]` corresponds to label `ii+1`.
   dip::Image lutImage( { nClusters + 1 }, 3, dip::DT_UINT8 );
   lutImage.At( 0 ) = 0; // label 0 doesn't exist
   for( dip::uint ii = 0; ii < nClusters; ++ii ) {
      lutImage.At( ii + 1 ) = { centers[ ii ][ 0 ] * 4, centers[ ii ][ 1 ] * 4, centers[ ii ][ 2 ] * 4 };
   }

   // Finally, we apply our look-up table mapping, painting each label in the image with
   // its corresponding RGB color.
   dip::LookupTable lut( lutImage );
   dip::Image output = lut.Apply( labels );
   output.SetColorSpace( "RGB" );

   // Display
   dip::viewer::ShowSimple( input, "input image" );
   dip::viewer::ShowSimple( output, "output image" );
   dip::viewer::Spin();
}