40、大规模数据处理未来之路

你好,我是蔡元楠。 今天我要分享的内容是“大规模数据处理实战”专栏的最后一讲。 我相信通过整个专栏的系统学习,你已经掌握了大规模数据处理的基础概念与设计模式。同时,我也相信,专栏中对现实世界中常见的大规模数据处理架构的深入探讨,可以在解决现实难题时为...

大规模数据处理实战

39、从SQL到Streaming SQL:突破静态数据查询的次元

你好,我是蔡元楠。 今天我要与你分享的主题是“从SQL到Streaming SQL:突破静态数据查询的次元”。 在前面的章节中,我们介绍了一些流数据处理相关的知识和技术,比如Apache Spark的流处理模块——Spark Streaming和St...

大规模数据处理实战

38、大规模数据处理在深度学习中如何应用

你好,我是蔡元楠。 今天我要与你分享的主题是“大规模数据处理在深度学习中如何应用?”。 “深度学习”这个词,既是一个人工智能的研究领域,也概括了构建人工神经网络的技术方法。2012年的AlexNet,2015年的Google Inception V3...

大规模数据处理实战

37、5G时代,如何处理超大规模物联网数据

你好,我是蔡元楠。 时间过的真快,转眼间我们已经结束了前五个模块的学习,来到了最后一个模块“大规模数据的挑战和未来”。 一门技术类课程的常见学习路线就是“过去→现在→未来”。这个专栏也是如此,我们首先研究了大数据处理技术的发展历程,从MapReduc...

大规模数据处理实战

36、Facebook游戏实时流处理Beam Pipeline实战(下)

你好,我是蔡元楠。 在上一讲中,我们一起对怎样实现一个简易的游戏积分排行榜展开了讨论,也一起研究了如何使用批处理计算的方式在Beam中构建出一个数据流水线来得出排行榜结果。 我们知道,虽然批处理计算可以得到一个完整的结果,但是它也存在着自身的不足,比...

大规模数据处理实战

35、Facebook游戏实时流处理Beam Pipeline实战(上)

你好,我是蔡元楠。 今天我要与你分享的主题是“Facebook游戏实时流处理Beam Pipeline实战”。 Facebook这个社交平台我相信你一定早有耳闻。它除了能够让用户发送消息给好友,分享自己的动态图片和视频之外,还通过自身的App Cen...

大规模数据处理实战