apache-kafka - 发送视频文件时,生产者和消费者通常如何工作?

标签 apache-kafka kafka-consumer-api producer-consumer kafka-producer-api producer

据我了解,当我想将一部电影 (4GB) 发送给 Kafka 经纪人时,一个制作人将发送 4GB 字节的视频文件(对其进行序列化)并将其发送给 kafka 经纪人和许多想要观看该电影的消费者将消耗该电影文件。

我听说 Netflix 使用 Kafka 发送和观看电影。我很好奇他们如何使用生产者、经纪人和消费者。我正在使用 Netflix,而且速度非常快。 我想知道他们如何使用 Kafka。(尤其是他们如何使用生产者和消费者)

而且据我所知,发送视频文件时,需要对它进行编码,然后将其序列化才能发送数据。 (在这种情况下,编码可能正在序列化?) 我理解正确吗?如果我遗漏了什么,你能给我一些提示和指导吗?

最佳答案

Netflix 使用 Kafka 作为其集中式数据沿袭解决方案的一部分。它不是使用 Kafka 来编码、流式传输视频内容。您可以阅读有关如何使用 Kafka 的更多信息 here
enter image description here

现在回答 关于为什么其视频流服务如此之快的问题。您需要了解 Netflix 如何利用 ec2、s3 and others 等 aws 资源来创建高度可扩展、容错的 microservice architecture.

除此之外,Netflix 还与 ISP 合作,使用名为 Netflix Open Connect 的程序本地化内容。这允许他们在本地对内容进行 cache,从而最大限度地减少延迟并节省计算。

enter image description here

关于apache-kafka - 发送视频文件时,生产者和消费者通常如何工作?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55368634/

相关文章:

apache-spark - kafka kafka-consumer-groups.sh --describe 不返回消费者组的输出

c - 减轻轮询环形缓冲区的影响

apache-kafka - Kafka 消费者没有消费来自所有分区的消息

apache-kafka - 为什么Kafka使用者在更新到1.1后为何输出INVALID_FETCH_SESSION_EPOCH?

java - Kafka命令行consumer读取,但无法通过Java读取

java - 使用 ThreadPoolExecutor 的同步任务生产者/消费者

apache-camel - Apache Camel 和负载均衡

elasticsearch - Confluent 5.4.0 ElasticSearch Sink连接器中没有连接器类型错误

python - 如何使用 Python 将 Django 与 Kafka 集成?

java - Kafka 和 clojure 没有 KafkaConsumer 对象的 subscribe 方法