ios - Xamarin IOS 中的自定义 CIColorKernel

Question

我正在尝试在 Xamarin Forms 中创建一个功能，该功能允许应用程序将图像的 [1..N] 颜色更改为 [1..N]。

示例:

全部更改蓝色和紫色像素到 黄色和橙色 像素

经过一番调查，似乎我需要创建一个自定义 CIColorKernel 来实现它。

问题是很难找到示例并且文档很简单。

如果有人有教程或基本示例可以开始...

谢谢

编辑:

我实现了@SushiHangover 的soutioion，并在代码示例的第二种方法中调用它:

 private IImageSourceHandler GetHandler(ImageSource source)
        {
            IImageSourceHandler returnValue = null;
            if (source is UriImageSource)
            {
                returnValue = new ImageLoaderSourceHandler();
            }
            else if (source is FileImageSource)
            {
                returnValue = new FileImageSourceHandler();
            }
            else if (source is StreamImageSource)
            {
                returnValue = new StreamImagesourceHandler();
            }
            return returnValue;
        }

        public async Task<ImageSource> ChangeImageColor(ImageSource source, string oldColor, string newColor)
        {
            var handler = GetHandler(source);
            var uiImage = (UIImage)null;

            uiImage = await handler.LoadImageAsync(source);
            UIImage uiImageOutput = null;

            using (var context = new EAGLContext(EAGLRenderingAPI.OpenGLES3))
            using (var filter = new ColorReplaceFilter
            {
                InputImage = new CIImage(uiImage),
                MatchColor = CIColor.FromRgb(200, 200, 200),
                ReplaceWithColor = CIColor.RedColor,
                Threshold = 1f // Exact match, values >0 & <=1 to make a fuzzy match
            })
            {
                uiImageOutput = UIImage.FromImage(filter.OutputImage);
            }

            return Xamarin.Forms.ImageSource.FromStream(() => uiImageOutput.AsPNG().AsStream()); ;
        }

这两个方法在一个名为 BitmapHelper 的类中。在 中调用Xamarin 表单 与 合作的项目依赖注入(inject) .

var bitmap = DependencyService.Get<IBitmapHelper>().ChangeImageColor(AmbiancePicture.Source, oldColor, newColor);
            AmbiancePicture.Source = bitmap.Result;

结果包含预期的新图像，但 AmbiancePicture.Source但没有更新。

这是我尝试更改的图像:



编辑 2:

如果我在更新前将 AmbiancePicture.Source 设置为 null，则图像保持为空。
图像似乎不是空的(我在流中看到了一些正确的属性)。

工作编辑:

所以在错误来自 UIImage 创建和转换之后。

这是工作代码:

  using (var context = new EAGLContext(EAGLRenderingAPI.OpenGLES3))
            using (var filter = new ColorReplaceFilter
            {
                InputImage = new CIImage(uiImage),
                MatchColor = CIColor.FromString(oldColor),
                ReplaceWithColor = CIColor.FromString(newColor),
                Threshold = 1f // Exact match, values >0 & <=1 to make a fuzzy match
            })
           {
            var output = context.CreateCGImage(filter.OutputImage, filter.OutputImage.Extent); // This line is slow...
            var img = UIImage.FromImage(output);
            jpegData = img.AsJPEG(1.0f);

        }
        return Xamarin.Forms.ImageSource.FromStream(() => jpegData.AsStream());

Answer 1

Change all blue & purple pixels to yellow & orange pixels

让我们将其分解为两个不同的步骤:

蓝色像素到黄色像素

紫色像素到橙色像素

这意味着我们只需要一个 CIFilter将一种颜色更改为另一种颜色，我们可以将两个(或更多)过滤器链接在一起，以根据需要更改尽可能多的颜色。

就定制而言CIFilter ，如果我们只改变颜色，我们可以使用 CIColorKernel在 GPU 或 CPU 矢量单元上处理它(操作系统将根据可用性和请求的内核功能确定哪一个)。 CIKernel子类使用 GLSL 的修改版本(OpenGL 着色语言)作为内核中的语言(此代码在运行时编译，因为每个设备可能具有不同的 CPU 和/或 GPU)。

所以我们需要一个 CIColorKernel接受 RGA8 格式的源“颜色”作为 vec4 的函数, 一个 vec4表示要匹配的颜色，另一个 vec4如果源 vec4 表示要更改的颜色火柴。我们还可以提供一个阈值，该阈值提供原始颜色需要“接近”的程度(如色度键控)。考虑到所有这些并编写一些 GLSL，我们得到:

kernel vec4 main(__sample s, __color o, __color r, float threshold) {
    vec4 diff = s.rgba - o;
    float distance = length( diff );
    float alpha = compare( distance - threshold, 0.0, 1.0 );
     if (alpha == 0.0)
        return r;
     return s;
}

现在我们需要一个 CIFilter创建/编译该内核并提供 的子类核心形象 该内核的输入和输出:

public class ColorReplaceFilter : CIFilter
{
    const string filterName = "colorReplace";
    const int numArgs = 4;
    const string coreImageShaderProgram =
        @"
            kernel vec4 main(__sample s, __color o, __color r, float threshold) {
                vec4 diff = s.rgba - o;
                float distance = length( diff );
                float alpha = compare( distance - threshold, 0.0, 1.0 );
                 if (alpha == 0.0)
                    return r;
                 return s;
            }
        ";

    NSObject[] arguments;
    CIColorKernel colorKernel;

    public ColorReplaceFilter() { Initializer(); }
    public ColorReplaceFilter(NSCoder coder) : base(coder) { Initializer(); }
    public ColorReplaceFilter(NSObjectFlag t) : base(t) { Initializer(); }
    public ColorReplaceFilter(IntPtr handle) : base(handle) { Initializer(); }

    public CIImage InputImage { get; set; }
    public CIColor MatchColor { get; set; }
    public CIColor ReplaceWithColor { get; set; }

    NSNumber _threshold;
    public nfloat Threshold
    {
        get { return _threshold.NFloatValue; }
        set { _threshold = NSNumber.FromNFloat(value); }
    }

    void Initializer()
    {
        arguments = new NSObject[numArgs];
        colorKernel = CIColorKernel.FromProgramSingle(coreImageShaderProgram);
        MatchColor = CIColor.WhiteColor;
        ReplaceWithColor = CIColor.WhiteColor;
        _threshold = new NSNumber(0.2f);
    }

    public override string Name
    {
        get => filterName;
    }

    public override CIImage OutputImage
    {
        get => CreateOutputImage();
    }

    CIImage CreateOutputImage()
    {
        if (InputImage != null) // Avoid object creation to allow fast filter chaining
        {
            arguments[0] = InputImage as NSObject;
            arguments[1] = MatchColor as NSObject;
            arguments[2] = ReplaceWithColor as NSObject;
            arguments[3] = _threshold as NSObject;
            var ciImage = colorKernel.ApplyWithExtent(InputImage.Extent, arguments);
            return ciImage;
        }
        return null;
    }

    protected override void Dispose(bool disposing)
    {
        base.Dispose(disposing);
        arguments = null;
        InputImage = null;
        MatchColor = null;
        ReplaceWithColor = null;
        colorKernel.Dispose();
    }
}

一个简单的CIContext例子:

var uiImageInput = inputVIew.Image;
UIImage uiImageOutput;
using (var context = CIContext.Create())
using (var filter = new ColorReplaceFilter
{
    InputImage = new CIImage(uiImageInput),
    MatchColor = CIColor.BlueColor,
    ReplaceWithColor = CIColor.RedColor,
    Threshold = 0.0f // Exact match, values >0 & <=1 to make a fuzzy match
})
{
    uiImageOutput  = UIImage.FromImage(filter.OutputImage);
}
// Do something with your new uiImageOutput

注:有EAGLContext如果您对实时图像/视频处理有特殊需求，也可以使用基于上下文。

注意:由于创建上下文有开销，因此您不需要 CIContext如果您正在渲染 CIImage直接到已经有上下文的 UIImage 持有者。一个 UIImageView将有一个上下文，因为它在屏幕上显示图像，所以删除上下文创建并创建/分配 CIImage支持 UIImage直接到UIImageView :

aUIImageViewObject.Image = UIImage.FromImage(replaceFilter.OutputImage);

在链接过滤器中，您使用 CIImage一个过滤器的输出并将其应用为 CIImage输入到下一个过滤器。

var uiImageInput = inputVIew.Image;
UIImage uiImageOutput;
using (var context = CIContext.Create())
using (var filter1 = new ColorReplaceFilter
{
    InputImage = new CIImage(uiImageInput),
    MatchColor = CIColor.BlueColor,
    ReplaceWithColor = CIColor.RedColor,
    Threshold = 0
})
using (var filter2 = new ColorReplaceFilter
{
    InputImage = filter1.OutputImage,
    MatchColor = CIColor.WhiteColor,
    ReplaceWithColor = CIColor.BlackColor,
    Threshold = 0
})
{
    uiImageOutput = UIImage.FromImage(filter2.OutputImage);
}
// Do something with your new UIImage

正如苹果所说，a CIImage object is a “recipe” for producing an image并且由于我们直到上面链的末尾才“渲染” UIImage|CGImage，所以这个链式过滤器渲染发生在 一通因为我们只是通过 CIImage s 通过链条。

注意:如果您正在处理具有不同颜色替换的多个图像，请创建一次 CIFilters 并不断更改 CIImage 输入和替换颜色以重复使用过滤器来处理每个图像。完成后请记住处置 CIFilter(s)。这样，对于无限数量的输入/输出图像，每个过滤器只需编译一次 GLSL 内核。

这是一个更改过滤器的输入颜色的示例。过滤器创建和维护 UIViewController 的类级别对象，并在 View Controller 关闭时处理。



另一个使用阈值以交互方式将“蓝色”像素替换为红色的示例。



回复:Core Image Kernel Language
回复:CIContext
回复:CIColorKernel