16、分布式计算模式之Stream:一门背锅的艺术

你好,我是聂鹏程。今天,我来继续带你打卡分布式核心技术。 在上一篇文章中,我与你介绍了分布式计算模式中的MapReduce模式。这种模式的核心思想是,将大任务拆分成多个小任务,针对这些小任务分别计算后,再合并各小任务的结果以得到大任务的计算结果。 这...

分布式技术原理与算法解析

15、分布式计算模式之MR:一门同流合污的艺术

你好,我是聂鹏程。今天,我来继续带你打卡分布式核心技术。 我在[第12篇文章]中与你介绍两层调度时提到,Mesos的第二层调度是由Framework完成的。这里的Framework通常就是计算框架,比如Hadoop、Spark等。用户基于这些计算框架...

分布式技术原理与算法解析

14、答疑篇:分布式事务与分布式锁相关问题

你好,我是聂鹏程。 到目前为止,“分布式技术原理与算法解析”专栏已经更新13篇文章了,主要与你介绍了“分布式起源”“分布式协调与同步”和“分布式资源管理与负载调度”。 在这里,我首先要感谢你们在评论区留下的一条条精彩留言。这让我感觉到,你们对分布式技...

分布式技术原理与算法解析

13、分布式调度架构之共享状态调度:物质文明、精神文明多手协商抓

你好,我是聂鹏程。今天,我来继续带你打卡分布式核心技术。 在上一篇文章中,我们一起学习了两层调度。在两层调度架构中,第二层调度只知道集群中的部分资源,无法进行全局最优调度。那么,是否有办法解决全局最优调度的问题呢? 答案是肯定的,解决办法就是我今天要...

分布式技术原理与算法解析

12、分布式调度架构之两层调度:物质文明、精神文明两手抓

你好,我是聂鹏程。今天,我来继续带你打卡分布式核心技术。 我在上一篇文章中,与你分享了单体调度。单体调度的核心是,所有节点的资源以及用户的任务均由中央服务器统一管理和调度。因此,中央服务器很容易成为单点瓶颈,会直接导致其支持的调度规模和服务类型受限。...

分布式技术原理与算法解析

11、分布式调度架构之单体调度:物质文明、精神文明一手抓

你好,我是聂鹏程。今天,我来继续带你打卡分布式核心技术。 在前两篇文章中,我和你分析了云资源管理的集中式架构和非集中式架构。可以看出,分布式系统架构的目的是,将多个服务器资源管理起来,寻找合适的服务器去执行用户任务。 那,什么是合适的服务器呢?衡量一...

分布式技术原理与算法解析
19091929394673