8、最重要的集群参数配置(下)

今天我们继续来聊那些重要的Kafka集群配置,下半部分主要是Topic级别参数、JVM参数以及操作系统参数的设置。 在上一期中,我们讨论了Broker端参数设置的一些法则,但其实Kafka也支持为不同的Topic设置不同的参数值。当前最新的2.2版本...

Kafka核心技术与实战

7、最重要的集群参数配置(上)

你好,我是胡夕。今天我想和你聊聊最最最重要的Kafka集群配置。我这里用了3个“最”字并非哗众取宠,而是因为有些配置的重要性并未体现在官方文档中,并且从实际表现看,很多参数对系统的影响要比从文档上看更加明显,因此很有必要集中讨论一下。 我希望通过两期...

Kafka核心技术与实战

6、Kafka线上集群部署方案怎么做?

专栏前面几期内容,我分别从Kafka的定位、版本的变迁以及功能的演进等几个方面循序渐进地梳理了Apache Kafka的发展脉络。通过这些内容,我希望你能清晰地了解Kafka是用来做什么的,以及在实际生产环境中该如何选择Kafka版本,更快地帮助你入...

Kafka核心技术与实战

5、聊聊Kafka的版本号

你好,我是胡夕。今天我想和你聊聊如何选择Kafka版本号这个话题。今天要讨论的内容实在是太重要了,我觉得它甚至是你日后能否用好Kafka的关键。 上一期我介绍了目前流行的几种Kafka发行版,其实不论是哪种Kafka,本质上都内嵌了最核心的Apach...

Kafka核心技术与实战

4、我应该选择哪种Kafka?

在专栏上一期中,我们谈了Kafka当前的定位问题,Kafka不再是一个单纯的消息引擎系统,而是能够实现精确一次(Exactly-once)处理语义的实时流处理平台。 你可能听说过Apache Storm、Apache Spark Streaming亦...

Kafka核心技术与实战

3、Kafka只是消息引擎系统吗?

你好,我是胡夕。今天我们来聊一个老生常谈的话题:Kafka只是消息引擎系统吗? 要搞清楚这个问题,我们不可避免地要了解一下Apache Kafka的发展历程。有的时候我们会觉得说了解一个系统或框架的前世今生似乎没什么必要,直接开始学具体的技术不是更快...

Kafka核心技术与实战