javascript - 视频中每一帧的主色

Question

我想分析有关 LED 闪烁的视频 (mp4)。 背景通常为灰色，但 LED 的颜色可能会有所不同。 LED 在视频中足够近，因此 LED 灯是画面中最大的部分。 我找到了 Color-Thief，但它只适用于图像而不适用于视频。 因为闪烁的频率也可能不同，所以我需要检查视频的每一帧的主色。

如果有人有任何想法，我将不胜感激。提前感谢您的宝贵时间。

编辑: 视频的两个屏幕截图(第一个红色 LED 熄灭；第二个红色 LED 亮起)(必须删除两个屏幕截图链接的 color-thief 链接)

这是在视频开始播放时调用的函数，应该分析视频。我尝试通过平均颜色来做到这一点，但这没有用，因为那通常是某种灰色/棕色。

function processFrame(e) {  

    var video = document.getElementById("video");

    if (video.ended){
        //dauer();
        console.log("Ende");
        //alert("Ende");
    }

    if (video.paused || video.ended) {
        return;
    }

    var bufferCanvas = document.getElementById("buffer");
    var displayCanvas = document.getElementById("display");
    var buffer = bufferCanvas.getContext("2d");
    var display = displayCanvas.getContext("2d");

    buffer.drawImage(video, 0,0, bufferCanvas.width, displayCanvas.height);

    var frame = buffer.getImageData(sx, sy, sw, sh);
    var length = frame.data.length / 4;

    for (var i = 0; i < length; i++) {
        var r = frame.data[i * 4 + 0];
        var g = frame.data[i * 4 + 1];
        var b = frame.data[i * 4 + 2];
        average= average +((r+g+b)/3)       
    }   

    averagecolor[i]=average

    display.putImageData(frame, 0, 0);

    setTimeout(processFrame, 0);
}

Answer 1

您的要求有点宽泛，因为您需要分几个步骤执行此操作 - 但完全有可能做到。简而言之，我将只介绍您需要采取的步骤，以便能够分析 LED。

您可以通过预定义视频帧中的区域来全自动或半自动执行此操作。

自动检测的步骤如下，每次 session 使用一次，以防移动相机或更改变焦。照明条件也会影响检测，但在这里我假设照明条件与您显示的图像相同。它也特定于这些图像，如果您更改路由器/相机的设置，它可能无法工作。

自动检测区域的初始步骤:

• 扫描一半水平线，并在所有 RGB 值 = 255(即 LED 的白色中心)时开始配准区域。设置一个标志，表明你在一个区域中，并在你开始基于阈值注册时计算像素数(例如，7-10 个像素需要连续为白色)。这是为了消除白色的单个像素。
• 当您无法在一条线上(基于阈值)结束区域找到任何白色像素并准备新注册时。
• 在上半部分底部时(我会设置一个比实际高度短的最大高度)，从中间到右边缘重新开始扫描。

在此之后，您应该注册了六个区域(使用所有 LED 都点亮的“校准”框架 - 这可以在实时运行之前手动运行)。

对于将持续运行的下一步，您将使用这些区域作为 anchor 区域，并仅在一侧和高度上仅几个像素的点上进行采样。

• 使用该区域作为 anchor 并根据偏移量 x + 区域宽度 + 2 像素作为起始 X 定义一个样本区域(这只是对初始偏移量的建议 - 你可能有对此进行微调)。偏移 Y + 10 并将宽度和高度设置为 10 像素。这应该会在 LED 旁边为您提供一个 100 点的样本区域。
• 使用 getImageData 对这个小区域进行统计。您需要检查所有三个组件，因为您需要过滤掉浅灰色。找到一个阈值(例如 if r > 230 && b < 200 && g < 200 只是为了取一些值)当你开始累积你的红色值(另一个是绿色)。此过程需要一个校准阶段来找到您需要使用的阈值。运行一些测试。如果相机改变光圈值，您可能需要重新校准。
• 将绿色和红色值累加到不同的变量。您不需要对它们进行平均，但您需要为总和找到一个阈值，您知道 LED 为具有该颜色的 LED 点亮(使用区域检测的初始测试帧也为此)。通过比较 LED 关闭时的区域，为值增加一些公差。

如果您可以对其进行微调，这将使您总共只能扫描 600 个点。

对于手动方法，您可以跳过第一步中所述的区域设置，但使用框架并通过测量白色顶部的像素手动设置区域。如果您更改相机位置，则需要重新进行。

如您所知，需要为此编写一些代码，并且有许多因素会影响最终代码，使其非常适合这种用法。我相信这在一定程度上超出了 SO 的范围，但我希望这能为您提供一些线索，让您继续前进。