c# - 如何在 C# 中为泛型类型创建 Avro 模式?

标签 c# .net apache-kafka avro confluent-platform

我正在使用 Kafka 和 Confluent's .NET client 开发 .NET Standard pub/sub 包.我的制作人有以下界面。

IEventPublisher.cs

public interface IEventPublisher<T>
{
    bool Publish(Event<T> evnt);
}

我的 KafkaEventPublisher<T>类实现了这个接口(interface),并且正在发布的有效载荷 T 被包装在 Event<T> 中。信封。

Event.cs
public class Event<T>
{
    // Some other properties 

    public T Payload { get; set; }
}

我的组件的初始实现不使用 Avro 序列化程序或架构注册表。它序列化了 Event<T>使用 Newtonsoft.Json 到 JSON并将字符串生成到 Kafka 主题。这样做的好处是有效载荷实际上可以是任何对象。主题名称是对象的完全限定类名称,因此主题保证是同类的。缺点是有效载荷对 Kafka 是不透明的。

我现在正在从 Newtonsoft.Json 转换到 Avro 和架构注册表。这似乎表明我的模型不能再是任何东西了。它们必须专门编写以通过实现 ISpecificRecord 来允许 Avro 序列化。界面。如果这是真的,这并不理想,但我可以接受。

我似乎无法弄清楚的问题是如何合并 Event<T>封装到 Avro 模式中。有没有办法将模式嵌套在另一个模式中?我所有的具体模式是否也应该定义 Event<T>信封?使用 GenericRecord 是否明智?相反,并尝试在运行时使用反射自动生成模式,以便我的组件可以恢复接受任何对象作为有效负载?

最佳答案

也许有一种更优雅的方式,但在每个模式中包含正确的东西应该可以解决问题。也许您想以编程方式执行此操作以确保一致性。
一般来说,一切正常工作可能都很好,除非您发现自己试图检查每条消息并为每条消息定义架构。这可能是可能的,但肯定不是高性能/可取的。

关于c# - 如何在 C# 中为泛型类型创建 Avro 模式?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56118965/

相关文章:

.net - 2015 年在 Linux 中运行 .NET 应用程序

.net - 如何从docker容器中的bash检查.net核心dll的版本

.net - 如何将 json 字符串从 java 发送到 .NET REST 服务?

java - 如何从特定偏移量到特定偏移量的kafka主题中使用数据?

c# - 与 MVC6/ASP.Net 5 的动态捆绑

c# - 处理匿名类型的 MVC Helper 方法

c# - 为什么 lock(objLock) 比 lock(this) 更好

c# - 如何使用正则表达式强制执行单行?

java - 如何以稳健的方式处理kafka发布失败

apache-kafka - 为什么Kafka使用者在更新到1.1后为何输出INVALID_FETCH_SESSION_EPOCH?