36、从Omega到Kubernetes:哺育云原生的开源项目

你好,我是徐文浩。 在前面两节课里,我们一起看过在2015年发表的Borg的论文。不过,Borg这个系统的开发与使用,其实要远远早于2015年。事实上,在2004年Google发表的MapReduce的论文里,我们就已经隐隐约约可以看到Borg的存在...

大数据经典论文解读

37、当数据遇上AI,Twitter的数据挖掘实战(一)

你好,我是徐文浩。 课程进行到这里,我们对于各类大数据系统的论文的解读,就已经结束了。不过,真的要把大数据系统运用到实践当中,我们仍然会遇到很多挫折。在2010年,我第一次开始使用Hadoop。在读完了论文和教程,开始撰写Java MapReduce...

大数据经典论文解读

38、当数据遇上AI,Twitter的数据挖掘实战(二)

你好,我是徐文浩。 在上节课里,我们一起了解了Twitter整体搭建数据系统的经验。不过,那一篇论文的主要内容还是在方法论上,一旦我们想要把这个方法论利用到我们当下就在搭建的数据系统里,就有些无从下手的感觉。 不过,好在Twitter还发表了很多有着...

大数据经典论文解读

39、十年一梦,一起来看Facebook的数据仓库变迁(一)

你好,我是徐文浩。 前面两节课,我们是从方法论和具体的实践这两方面,一起了解了Twitter的大数据系统是怎么样的。而在过去的整个课程里,我们也看过大量的来自Google的论文。 发表了大量论文的Google,是开创整个大数据时代的引领者,我们有太多...

大数据经典论文解读

40、十年一梦,一起来看Facebook的数据仓库变迁(二)

你好,我是徐文浩。 上节课里,我们一起学习了2010年Facebook的数据仓库的整体架构。我们看到,Facebook是采用了 容错+分层+优化 这样的三重手段,来搭建自己的数据仓库体系。他们部署了多个不同职责的Hadoop集群,这些集群分工明确、各...

大数据经典论文解读
1567