-
5.生产者客户端原理分析
生产者客户端原理分析 整体架构 元数据的更新 生产者客户端原理分析 在前面的章节中，我们已经了解了 KafkaProducer 的具体使用方法，而本节的内容主要是对 Kafka 生产者客户端的内部原理进行分析，通过了解生产者客户端的整体脉络可以让我们更好地使用它，避免因为一些理解上的偏差而造成使用上的错误。 整体架构 在上一节中提及了消息在... -
16.重要的消费者参数
重要的消费者参数 1. fetch.min.bytes 2. fetch.max.bytes 3. fetch.max.wait.ms 4. max.partition.fetch.bytes 5. max.poll.records 6. connections.max.idle.ms 7. exclude.internal.topics 8.... -
89.kafka常见面试题
1. 什么是 Kafka？ 2. Kafka 的主要组件有哪些？ 3. Kafka 如何保证消息的持久性？ 4. 什么是 Kafka 的副本机制？它的作用是什么？ 5. Kafka 是如何实现消息顺序性的？ 6. Kafka 的消费者组是什么？ 7. 如何处理 Kafka 中的消息重复消费？ 8. Kafka 和传统消息队列的区别是什么？ 9... -
24.修改副本因子
修改副本因子 修改副本因子 创建主题之后我们还可以修改分区的个数，同样可以修改副本因子（副本数）。修改副本因子的使用场景也很多，比如在创建主题时填写了错误的副本因子数而需要修改，再比如运行一段时间之后想要通过增加副本因子数来提高容错性和可靠性。 前面主要讲述了分区重分配的相关细节，本节中修改副本因子的功能也是通过重分配所使用的 kafka-reas... -
81.Broker 弄丢了数据？
81.Broker 弄丢了数据？ 81.Broker 弄丢了数据？ 这块比较常见的一个场景，就是 Kafka 某个 Broker 宕机，然后重新选举 Partition 的 leader。大家想想，要是此时其他的 follower 刚好还有些数据没有同步，结果此时 leader 挂了，然后选举某个 follower 成 leader 之后，不就少了一... -
75.Kafka 的副本机制是怎么样的？
75.Kafka 的副本机制是怎么样的？ 75.Kafka 的副本机制是怎么样的？ Kafka 的副本机制，是多个 Broker 节点对其他节点的 Topic 分区的日志进行复制。当集群中的某个节点出现故障，访问故障节点的请求会被转移到其他正常节点(这一过程通常叫 Reblance)，Kafka 每个主题的每个分区都有一个主副本以及 0 个或者多个副... -
2. Kafka入门
安装与配置 1. JDK的安装与配置 2. ZooKeeper安装与配置 3. Kafka的安装与配置 生产与消费 服务端参数配置 1. zookeeper.connect 2. listeners 3. broker.id 4. log.dir和log.dirs 5. message.max.bytes 总结 安装与配置 本节... -
17.主题与分区
主题与分区 主题的管理 创建主题 主题与分区 主题和分区是 Kafka 的两个核心概念，前面章节中讲述的生产者和消费者的设计理念所针对的都是主题和分区层面的操作。主题作为消息的归类，可以再细分为一个或多个分区，分区也可以看作对消息的二次归类。分区的划分不仅为 Kafka 提供了可伸缩性、水平扩展的功能，还通过多副本机制来为 Kafka 提供数据冗... -
29.Kafka Mirror Maker
Kafka Mirror Maker Kafka Mirror Maker Kafka Mirror Maker 是用于在两个集群之间同步数据的一个工具，其实现原理是通过从源集群中消费消息，然后将消息生产到目标集群中，也就是普通的生产和消费消息。如果了解 RabbitMQ，那么会发现这个工具和 RabbitMQ 中的数据迁移插件 Federation... -
61.聊聊 Kafka 的设计要点？
61.聊聊 Kafka 的设计要点？ 1）吞吐量 2）负载均衡 3）拉取系统 4）可扩展性 61.聊聊 Kafka 的设计要点？ 参考解析 1）吞吐量 高吞吐是 Kafka 需要实现的核心目标之一，为此 kafka 做了以下一些设计： 1、数据磁盘持久化：消息不在内存中 Cache ，直接写入到磁盘，充分利用磁盘的顺序读写性能。 ...