Spark 架构设计与原理思维

Spark 在 MapReduce 的基础上启动了改良，它关键经常使用内存启动两边计算数据存储，放慢了计算口头期间，在某些状况下性能可以优化百倍 。

除了速度更快，Spark 和 MapReduce 相比，还有更繁难易用的编程模型 。

Spark 的关键编程模型是 RDD，即弹性数据集 。在 RDD 上定义了许多经常出现的大数据计算函数，应用这些函数可以用极少的代码成功较为复杂的大数据计算 。

例如咱们在引见 Hive 架构设计时谈到的 WordCount 示例 。 经常使用 Scala 言语在 Spark 上编写 ，代码只要三行 。

这个 demo 的代码含意就不开展详细引见 。首选，从 HDFS 读取数据，构建一个 RDD textFile，而后在这个 RDD 上口头三个操作：一是将输入数据的每一行文本用空格拆分单词；二是将单词启动转换，比如：word ——> (word，1)，生成 < Key , Value > 的结构；三是针对相反的 Key 启动统计，统计形式是对 Value 求和 。最后，将 RDD counts 写入 HDFS ，成功结果输入 。

Spark 编程模型

RDD 是 Spark 的**概念，是弹性数据集（Resilient Distributed>

Spark 架构**

RDD 上定义的函数分两种，一种是转换（transformation） 函数，这种函数的前往值还是 RDD；另一种是 口头（action） 函数，这种函数不再前往 RDD。

RDD 定义了很多转换操作函数，比如有计算 map(func)、过滤 filter(func)、兼并数据集 union(otherDataset)、依据 Key 聚合 reduceByKey(func, [numPartitions])、衔接数据集 join(otherDataset, [numPartitions])、分组 groupByKey([numPartitions]) 等十几个函数。

作为 Spark 架构**元素的 RDD。跟 MapReduce 一样，Spark 也是对大数据启动分片计算，Spark 散布式计算的数据分片、义务调度都是以 RDD 为单位开展的，每个 RDD 分片都会调配到一个口头进程去处置。

RDD 上的转换操作又分红两种，一种转换操作发生的 RDD 不会发生新的分片，比如 map、filter 等，也就是说一个 RDD 数据分片，经过 map 或许 filter 转换操作后，结果还在分片。就像你用 map 函数对每个数据加 1，获取的还是这样一组数据，只是值不同。实践上，Spark 并不是依照代码写的操作顺序去生成 RDD，比如 rdd2 = rdd1.map(func) 这样的代码并不会在物理上生成一个新的 RDD。物理上，Spark 只要在发生新的 RDD 分片时刻，才会真的生成一个 RDD，Spark 的这种特性也被称作 惰性计算。

另一种转换操作发生的 RDD 则会发生新的分片，比如 reduceByKey，来自不同分片的相反 Key 必定聚合在一同启动操作，这样就会发生新的 RDD 分片。

所以，大家只要要记住，Spark 运行程序代码中的 RDD 和 Spark 口头环节中生成的物理 RDD 不是逐一对应的，RDD 在 Spark 外面是一个十分灵敏的概念，同时又十分关键，须要仔细谛解。

Spark 的计算阶段

和 MapReduce 一样，Spark 也遵照移动计算比移动数据更划算 这一大数据计算基本准则。然而和 MapReduce 僵化的 Map 与 Reduce 分阶段计算相比，Spark 的计算框架愈加富裕弹性和灵敏性，进而有更好的运转性能 。

Spark 会依据程序中的转换函数生成计算义务口头方案，这个口头方案就是一个 DAG 。Spark 可以在一个作业中成功十分复杂的大数据计算 。

所谓 DAG 也就是 有向无环图，就是说不同阶段的依赖相关是有向的，计算环节只能沿着依赖相关方向口头，被依赖的阶段口头成功之前，依赖的阶段不能开局口头，同时，这个依赖相关不能有环形依赖，否则就成为死循环了。上方这张图形容了一个典型的 Spark 运转 DAG 的不同阶段。

在上方的图中， A、C、E 是从 HDFS 上加载的 RDD，A 经过 groupBy 分组统计转换函数计算后获取的 RDD B，C 经过 map 转换函数计算后获取 RDD D，D 和 E 经过 union 兼并转换函数计算后获取 RDD F ，B 和 F 经过 join 衔接函数计算后获取最终的兼并结果 RDD G 。

所以可以看到 Spark 作业调度口头的**是 DAG，有了 DAG，整个运行就被切分红哪些阶段，每个阶段的依赖相关也就清楚了。之后再依据每个阶段要处置的数据量生成相应的义务汇合（TaskSet），每个义务都调配一个义务进程去处置，Spark 就成功了大数据的散布式计算。

详细来看的话，担任 Spark 运行 DAG 生成和治理的组件是 DAGScheduler，DAGScheduler 依据程序代码生成 DAG，而后将程序散发到散布式计算集群，按计算阶段的先后相关调度口头。

大家留意到了么，上方的例子有 4 个转换函数，然而只要 3 个阶段 。那么 Spark 划分计算阶段的依据详细是什么呢？显然并不是 RDD 上的每个转换函数都会生成一个计算阶段 。

经过观察一下上方的 DAG 图，关于计算阶段的划分从图上就能看出法令，当 RDD 之间的转换衔接线出现多对多交叉衔接的时刻，就会发生新的阶段。一个 RDD 代表一个数据集，图中每个 RDD 外面都蕴含多个小块，每个小块代表 RDD 的一个分片。

一个数据集中的多个数据分片须要启动分区传输，写入到另一个数据集的不同分片中，这种数据分区交叉传输的操作，咱们在 MapReduce 的运转环节中也看到过。

这就是 shuffle 环节，Spark 也须要经过 shuffle 将数据启动从新组合，相反 Key 的数据放在一同，启动聚合、关联等操作，因此每次 shuffle 都发生新的计算阶段。这也是为什么计算阶段会有依赖相关，它须要的数据起源于前面一个或多个计算阶段发生的数据，必定期待前面的阶段口头终了能力启动 shuffle，并获取数据。

所以大家须要记住，计算阶段划分的依据是 shuffle，不是转换函数的类型 。

思索

大家或许会想，为什么雷同经过 shuffle ，Spark 可以更高效 ?

从实质上看，Spark 可以算作是一种 MapReduce 计算模型的不同成功。Hadoop MapReduce 繁难粗犷地依据 shuffle 将大数据计算分红 Map 和 Reduce 两个阶段，而后就算完事了。而 Spark 更细腻一点，将前一个的 Reduce 和后一个的 Map 衔接起来，当作一个阶段继续计算，构成一个愈加优雅、高效的计算模型，只管其实质依然是 Map 和 Reduce。然而这种多个计算阶段依赖口头的方案可以有效缩小对 HDFS 的访问，缩小作业的调度口头次数，因此口头速度也更快。

并且和 Hadoop MapReduce 关键经常使用磁盘存储 shuffle 环节中的数据不同，Spark 优先经常使用内存启动数据存储，包括 RDD 数据。除非是内存不够用了，否则是尽或许经常使用内存， 这也是 Spark 性能比 Hadoop 高的另一个要素。

Spark 允许 Standalone、Yarn、Mesos、Kubernetes 等多种部署方案，几种部署方案原理也都一样，只是不同组件角色命名不同，然而**性能和运转流程都差不多。

首先，Spark 运行程序启动在自己的 JVM 进程里，即 Driver 进程，启动后调用 SparkContext 初始化口头性能和输入数据。SparkContext 启动 DAGScheduler 结构口头的 DAG 图，切分红最小的口头单位也就是计算义务。

而后 Driver 向 Cluster Manager 恳求计算资源，用于 DAG 的散布式计算。Cluster Manager 收到恳求，将 Driver 的主机地址等信息通知给集群的一切计算节点 Worker。

Worker 收到信息，依据 Driver 的主机地址，跟 Driver 通讯并注册，而后依据自己的闲暇资源向 Driver 通报自己可以领用的义务数。Driver 依据 DAG 图开局向注册的 Worker 调配义务。

Worker 收到义务后，启动 Executor 进程开局口头义务。Executor 先审核自己能否有 Driver 的口头代码，假设没有，从 Driver 下载口头代码，经过 Java 反射加载后开局口头。

Spark性能调优与缺点处置

关于 Spark 的性能调优，就有很多可以值得讨论的中央。 咱们普通能极速想到的是惯例的性能调优，包括最优的资源性能，RDD优化，并行度调理等等，除此之外，还有算子调优，Shuffle 调优，JVM 调优 。而关于缺点处置，咱们普通讨论的是处置 Spark 数据歪斜 的疑问，咱们普通会经过聚合原数据，过滤造成歪斜的 key，优化shuffle 操作环节中的 reduce 并行度等形式 。由于本篇文章关键引见架构设计和原理思维，基于篇幅限度，详细步骤就不展现详细形容。正好最近搜集了一本 Spark性能调优与缺点处置 的 pdf ，外面关于详解的步骤均做了详细的说明 。

Spark 生态

最后，咱们来看看 Spark 的生态！

跟咱们之前引见的 Hadoop 一样，Spark 也有他自己的生态体系 。以 Spark 为基础，有允许 SQL 语句的 Spark SQL，有允许流计算的 Spark Streaming，有允许机器学习的 MLlib，还有允许图计算的 GraphX。应用这些产品，Spark 技术栈撑持起大数据剖析、大数据机器学习等各种大数据运行场景。

为了繁难大家了解，上方对这些组件启动逐一引见：

Spark SQL：用来操作结构化数据的**组件，经过Spark SQL可以间接查问Hive、 HBase等多种外部数据源中的数据。Spark SQL的关键特点是能够一致处置相关表和RDD在处置结构化数据时，开发人员毋庸编写 MapReduce程序，间接经常使用SQL命令就能成功愈加复杂的数据查问操作。

Spark Streaming：Spark提供的流式计算框架，允许高吞吐量、可容错处置的实时流式数据处置，其**原理是将流数据合成成一系列短小的批处置作业，每个短小的批处置作业都可以经常使用 Spark Core启动极速处置。Spark Streaming允许多种数据源，如 Kafka以及TCP套接字等。

MLlib：Spark提供的关于机器学习性能的算法程序库，包括分类、回归、聚类、协同过滤算法等，还提供了模型评价、数据导入等额外的性能，开发人员只要了解必定的机器学习算法常识就能启动机器学习方面的开发，降落了学习老本。

GraphX: Spark提供的散布式图处置框架，领有图计算和图开掘算法的API接口以及丰盛的性能和运算符，极大中央便了对散布式图的处置需求，能在海量数据上运转复杂的图算法。

Spark生态系统各个组件相关亲密，并且可以相互调用，这样设计具备以下清楚长处。

（1）Spark生态系统蕴含的一切程序库和初级组件都可以从 Spark**引擎的改良中获益。

（2）不须要运转多套独立的软件系统，能够大大缩小运转整个系统的资源代价。

（3）能够无缝整合各个系统，构建不同处置模型的运行。

总结

Spark 有三个关键特性：RDD 的编程模型更繁难，DAG 切分的多阶段计算环节更极速，经常使用内存存储两边计算结果更高效。这三个特性使得 Spark 相对 Hadoop MapReduce 可以有更快的口头速度，以及更繁难的编程成功。

另外，从 Spark 的生态咱们可以看出，Spark 框架对大数据的允许从内存计算、实时处置到交互式查问，进而开展到图计算和机器学习模块。Spark 生态系统宽泛的技术面，一方面应战占据大数据市场份额最大的 Hadoop，另一方面又随时预备迎接后起之秀 Flink 、Kafka 等计算框架的应战，从而使Spark 在大数据畛域更好地开展 ！