你好，我是胡夕。今天我要跟你分享的主题是：如何重设消费者组位移。 为什么要重设消费者组位移？我们知道，Kafka和传统的消息引擎在设计上是有很大区别的，其中一个比较显著的区别就是，Kafka的消费者读取消息是可以重演的（replayable）。 像R...

你好，我是胡夕。今天我要跟你分享的主题是：Kafka常见的脚本汇总。 命令行脚本概览Kafka默认提供了很多个命令行脚本，用于实现各种各样的功能和运维管理。今天我以2.2版本为例，详细地盘点下这些命令行工具。下图展示了2.2版本提供的所有命令行脚本。...

你好，我是胡夕。今天我要和你分享的主题是：Kafka的运维利器KafkaAdminClient。 引入原因在上一讲中，我向你介绍了Kafka自带的各种命令行脚本，这些脚本使用起来虽然方便，却有一些弊端。 首先，不论是Windows平台，还是Linux...

你好，我是胡夕。今天我要和你分享的主题是：Kafka的认证机制。 什么是认证机制？所谓认证，又称“验证”“鉴权”，英文是authentication，是指通过一定的手段，完成对用户身份的确认。认证的主要目的是确认当前声称为某种身份的用户确实是所声称的...

你好，我是胡夕。今天我要分享的主题是：Kafka的授权机制。 什么是授权机制？我们在上一讲中花了不少时间讨论Kafka的认证机制，今天我们来看看Kafka的授权机制（Authorization）。所谓授权，一般是指对与信息安全或计算机安全相关的资源授...

你好，我是胡夕。今天我要和你分享的主题是：Kafka的跨集群数据镜像工具MirrorMaker。 一般情况下，我们会使用一套Kafka集群来完成业务，但有些场景确实会需要多套Kafka集群同时工作，比如为了便于实现灾难恢复，你可以在两个机房分别部署单...

你好，我是胡夕。今天我要和你分享的主题是：如何监控Kafka。 监控Kafka，历来都是个老大难的问题。无论是在我维护的微信公众号，还是Kafka QQ群里面，大家问得最多的问题，一定是Kafka的监控。大家提问的内容看似五花八门，但真正想了解的，其...

你好，我是胡夕。今天我要和你分享的主题是：那些主流的Kafka监控框架。 在上一讲中，我们重点讨论了如何监控Kafka集群，主要是侧重于讨论监控原理和监控方法。今天，我们来聊聊具体的监控工具或监控框架。 令人有些遗憾的是，Kafka社区似乎一直没有在...

你好，我是胡夕。今天我要和你分享的主题是：如何调优Kafka。 调优目标在做调优之前，我们必须明确优化Kafka的目标是什么。通常来说，调优是为了满足系统常见的非功能性需求。在众多的非功能性需求中，性能绝对是我们最关心的那一个。不同的系统对性能有不同...

你好，我是胡夕。今天我要和你分享的主题是：从0搭建基于Kafka的企业级实时日志流处理平台。 简单来说，我们要实现一些大数据组件的组合，就如同玩乐高玩具一样，把它们“插”在一起，“拼”成一个更大一点的玩具。 在任何一个企业中，服务器每天都会产生很多的...