image - 将素描(绘图)人脸照片与数码彩色照片相匹配

Question

我要将素描脸(绘图照片)与彩色照片相匹配。所以对于这项研究，我想找出将素描与彩色面孔相匹配的挑战是什么。现在我发现了

1. 分辨率像素差
2. 质地差异
3. 距离差
4. 和颜色(影响不大)

我想知道(在技术方面)还有哪些其他挑战以及可用的OPEN CV 和JAVA CV 方法和算法来克服这些挑战？

这里是草图的一些示例以及已知与之匹配的照片:

Answer 1

这个问题叫做多模态人脸识别。人们对比较高质量的面部照片(模态 1)和低质量的监控图像(模态 2)很感兴趣，另一个是正面图像与个人资料，或者像 OP 感兴趣的图片与草图。偏最小二乘法(PLS) ) 和捆绑因素分析 (TFA) 已用于此目的。

一个关键的困难是计算从模态 1(和模态 2)中的图像到一个空间的两个线性投影，其中两个点靠近意味着个体是相同的。这是关键的技术步骤。以下是有关此方法的一些论文:

1. Abhishek Sharma、David W Jacobs:Bypassing Synthesis: PLS for Face Recognition with Pose, Low-Resolution and Sketch . CVPR 2011.
2. S.J.D.王子，J.H.长者，J. Warrell，F.M.费利斯伯蒂 Tied Factor Analysis for Face Recognition across Large Pose Differences , IEEE 帕特。肛门。马赫。 Intell, 30(6), 970-984, 2008. Elder 是该领域的专家，拥有 a variety of papers on the topic .
3. B. Klare、Z. Li 和 A. K. Jain，Matching forensic sketches to mugshot photos , IEEE 模式分析和机器智能, 29 2010 年 9 月。

如您所知，这是一个活跃的研究领域/问题。在使用 OpenCV 克服困难方面，让我给你打个比方:你需要 build 一座房子(将草图与照片相匹配)，而你在问斯坦利锤(OpenCV)将如何提供帮助。当然，它可能会有所帮助。但您还需要很多其他资源:木材、时间/金钱、管道、电缆等。