-
79.Kafka 是否会弄丢数据？
79.Kafka 是否会弄丢数据？ 79.Kafka 是否会弄丢数据？ 注意，Kafka 是否会丢数据，主要取决于我们如何使用。这点，非常重要噢。 -
74.Kafka 的消息格式是怎么样的？
74.Kafka 的消息格式是怎么样的？ 74.Kafka 的消息格式是怎么样的？ message 中的物理结构为： message 物理结构 参数说明： 关键字 解释说明 8 byte offset 在parition(分区)内的每条消息都有一个有序的id号，这个id号被称为偏移(offset),它可以唯一确定每条消息... -
36. 写在最后
写在最后 写在最后 学习到这里，相信读者可以应付 Kafka 绝大多数的使用场景，这里虽然是本小册《图解Kafka之实战指南》的终点，但绝不是你学习 Kafka 的终点，在学习消化完本小册之后，建议读者继续学习[《图解Kafka之核心原理》],里面有更核心的知识点等着大家去掌握。 在小册开始介绍的部分中有一处“你会学到什么？”的地方，里面笔者列举了... -
35. Kafka与Structured Streaming的整合
Spark SQL Structured Streaming Kafka与Structured Streaming的整合 总结 Spark SQL Spark SQL 是一个用于处理结构化数据的 Spark 组件，它是在 Spark 1.0 版本开始加入 Spark 生态系统的。Spark SQL 能够利用 Spark 进行结构化数据的存储和操... -
21.优先副本的选举
优先副本的选举 优先副本的选举 分区使用多副本机制来提升可靠性，但只有 leader 副本对外提供读写服务，而 follower 副本只负责在内部进行消息的同步。如果一个分区的 leader 副本不可用，那么就意味着整个分区变得不可用，此时就需要 Kafka 从剩余的 follower 副本中挑选一个新的 leader 副本来继续对外提供服务。虽然不... -
1.初识Kafka
初识Kafka 基本概念 初识Kafka Kafka 起初是 由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前越... -
18. Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？
18. Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？ 18. Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？ 这四者，对比如下表格如下： 特性 ActiveMQ RabbitMQ RocketMQ Kafka 单机吞吐量 万级，比 RocketMQ、Ka... -
63.Kafka 为什么要将 Topic 进行分区？
63.Kafka 为什么要将 Topic 进行分区？ 63.Kafka 为什么要将 Topic 进行分区？ 正如我们在 「聊聊 Kafka 的设计要点？」 问题中所看到的，是为了负载均衡，从而能够水平拓展。 Topic 只是逻辑概念，面向的是 Producer 和 Consumer ，而 Partition 则是物理概念。如果 Topic 不进... -
10.mq技术选型
结论: (1)中小型软件公司，建议选RabbitMQ.一方面，erlang语言天生具备高并发的特性，而且他的管理界面用起来十分方便。正所谓，成也萧何，败也萧何！他的弊端也在这里，虽然RabbitMQ是开源的，然而国内有几个能定制化开发erlang的程序员呢？所幸，RabbitMQ的社区十分活跃，可以解决开发过程中遇到的bug，这点对于中小型公司来说十分... -
19.配置管理
配置管理 主题端参数 配置管理 kafka-configs.sh 脚本是专门用来对配置进行操作的，这里的操作是指在运行状态下修改原有的配置，如此可以达到动态变更的目的。kafka-configs.sh 脚本包含变更配置 alter 和查看配置 describe 这两种指令类型。同使用 kafka-topics.sh 脚本变更配置的原则一样，增、删、...