你好，我是胡夕。今天我要和你分享的内容是：生产者压缩算法面面观。 说起压缩（compression），我相信你一定不会感到陌生。它秉承了用时间去换空间的经典trade-off思想，具体来说就是用CPU时间去换磁盘空间或网络I/O传输量，希望...

你好，我是胡夕。今天我要和你分享的主题是：如何配置Kafka无消息丢失。 一直以来，很多人对于Kafka丢失消息这件事情都有着自己的理解，因而也就有着自己的解决之道。在讨论具体的应对方法之前，我觉得我们首先要明确，在Kafka的世界里什么才算是消息丢...

你好，我是胡夕。今天我要和你分享的主题是：客户端都有哪些不常见但是很高级的功能。 既然是不常见，那就说明在实际场景中并没有太高的出场率，但它们依然是很高级很实用的。下面就有请今天的主角登场：Kafka拦截器。 什么是拦截器？如果你用过Spring I...

你好，我是胡夕。今天我要和你分享的主题是：Kafka的Java生产者是如何管理TCP连接的。 为何采用TCP？Apache Kafka的所有通信都是基于TCP的，而不是基于HTTP或其他协议。无论是生产者、消费者，还是Broker之间的通信都是如此。...

你好，我是胡夕。今天我要和你分享的主题是：Kafka消息交付可靠性保障以及精确处理一次语义的实现。 所谓的消息交付可靠性保障，是指Kafka对Producer和Consumer要处理的消息提供什么样的承诺。常见的承诺有以下三种： 最多一次（at m...

你好，我是胡夕。今天我要和你分享的主题是：Kafka的消费者组。 消费者组，即Consumer Group，应该算是Kafka比较有亮点的设计了。那么何谓Consumer Group呢？用一句话概括就是：Consumer Group是Kafka提供的...

你好，我是胡夕。今天我要和你分享的内容是：Kafka中神秘的内部主题（Internal Topic）__consumer_offsets。 __consumer_offsets在Kafka源码中有个更为正式的名字，叫位移主题，即Offsets Top...

你好，我是胡夕。今天我要和你分享的内容是：消费者组重平衡能避免吗? 其实在专栏[第15期]中，我们讲过重平衡，也就是Rebalance，现在先来回顾一下这个概念的原理和用途。Rebalance就是让一个Consumer Group下所有的Consum...

你好，我是胡夕。今天我们来聊聊Kafka中位移提交的那些事儿。 之前我们说过，Consumer端有个位移的概念，它和消息在分区中的位移不是一回事儿，虽然它们的英文都是Offset。今天我们要聊的位移是Consumer的消费位移，它记录了Consume...

你好，我是胡夕。今天我来跟你聊聊CommitFailedException异常的处理。 说起这个异常，我相信用过Kafka Java Consumer客户端API的你一定不会感到陌生。所谓CommitFailedException，顾名思义就是Con...