你好，我是蔡元楠。 今天我要与你分享的主题是“如何设计创建好一个Beam Pipeline”。 这一讲我们会用到[第7讲]中介绍过的四种常见设计模式——复制模式、过滤模式、分离模式和合并模式。这些设计模式就像是武功的基本套路一样，在实战中无处不在。今...

你好，我是蔡元楠。 今天我要与你分享的主题是“Pipeline I/O: Beam数据中转的设计模式”。 在前面的章节中，我们一起学习了如何使用PCollection来抽象封装数据，如何使用Transform来封装我们的数据处理逻辑，以及B...

你好，我是蔡元楠。 今天我要与你分享的主题是“Pipeline：Beam如何抽象多步骤的数据流水线”。 在上两讲中，我们一起学习了Beam是如何抽象封装数据，以及如何抽象对于数据集的转换操作的。在掌握了这两个基本概念后，我们就可以很好地回答Beam编...

你好，我是蔡元楠。 今天我要与你分享的主题是“Beam数据转换操作的抽象方法”。 在上一讲中，我们一起学习了Beam中数据的抽象表达——PCollection。但是仅仅有数据的表达肯定是无法构建一个数据处理框架的。那么今天，我们就来看看Beam中数据...

你好，我是蔡元楠。 今天我要与你分享的主题是“为什么Beam要如此抽象封装数据”。 很多人在刚开始接触Apache Beam的时候，都会觉得这里面的概念太抽象了。什么PCollection、PValue、Transform……这都是些什么？尤其是PC...

你好，我是蔡元楠。 今天我要与你分享的话题是“站在Google的肩膀上学习Beam编程模型”。 在上一讲中，我带你一起领略了Apache Beam的完整诞生历史。通过上一讲，你应该对于Apache Beam在大规模数据处理中能够带来的便利有了一定的了...