spark认知


声明:本文转载自https://my.oschina.net/blogByRzc/blog/1581757,转载目的在于传递更多信息,仅供学习交流之用。如有侵权行为,请联系我,我会及时删除。

一、Spark体系结构

Spark是一种基于内存的开源计算框架,不同于Hadoop的MapReduce和HDFS,Spark主要包括Spark Core和在Spark Core基础之上建立的应用框架Spark SQL、Spark Streaming、MLlib和GraphX。

Core库中主要包括上下文Spark Context、抽象数据集RDD、调度器Scheduler、shuffle和序列器Serializer等。Spark系统中的计算、I/O、调度和shuffle等系统基本功能都在其中。

二、Spark编程模型概述

开发人员在编写Spark应用的时候,需要提供一个包含main函数的驱动程序作为程序的入口,开发人员根据自己的需求,在main函数中调用Spark提供的数据操纵接口,利用集群对数据执行并行操作。见插图:

定义主函数

Spark为开发人员提供了两类抽象接口。

第一类抽象接口是弹性分布式数据集RDD,顾名思义,RDD是对数据集的抽象封装,开发人员可以通过RDD提供的开发接口来访问和操作数据集合,而无须了解数据的存储介质(内存或磁盘)、文件系统(本地文件系统、HDFS或Tachyon)、存储节点(本地和远程节点)等诸多实现细节;

第二类抽象是共享变量,通常情况下,一个应用程序在运行的时候会被划分成分布在不同执行节点上的多个任务,从而提高计算的速度,每个任务都会有一份独立的程序变量拷贝,彼此之间互不干扰,然而在某些情况下任务之间需要共享变量,Spark提供了两种共享变量,它们分别是广播变量(Broadcast Variable)和累加器(Accumulators)。

三、SparkContext

3.1、SparkContext的作用

SparkContext除了是Spark的主要入口,也可以看做是对用户的接口,它代表与Spark集群连接的对象,SparkContext主要存在于Driver Program中。可以用SparkContext来创建集群中的RDD、累积量和广播量,在后台SparkContext还能发送任务给集群管理器。每一个JVM只能运行一个程序,即对应的只有一个SparkContext的处于激活状态,因此在创建新的SparkContext前需要把旧的SparkContext停止。见插图:

sparkcontext内部调用

3.2、SparkContext的创建

SparkContext的创建过程首先要加载配置文件,然后创建SparkEnv、TaskScheduler和DAGScheduler,具体过程如下:

3.2.1、加载配置文件SparkConf

SparkConf在初始化时,需要选择相关配置参数,包含master、appName、sparkHome、jars、environment等信息,然后通过构造方法传递给SparkContext,实现代码如下:

spark相关代码设置

3.2.2、创建SparkEnv

创建SparkConf后就需要创建SparkEnv,这里包括很多Spark执行时的重要组件,包括MapOutputTracker、ShuffleFetcher、BlockManager等,在源码中是通过SparkEnv类伴生对象SparkEnv Object内的createDriverEnv方法实现的。

3.3.3、创建TaskScheduler

创建SparkEnv后,就需要创建SparkContext中调度执行方面的变量TaskScheduler。

3.3.4、创建DAGScheduler

创建TaskScheduler对象后,再将TaskScheduler对象传至DAGScheduler,用来创建DAGScheduler对象。

创建DAGScheduler后在调用其start()方法将其启动,以上4点是整个SparkContext的创建过程。

本文发表于2017年11月29日 19:01
(c)注:本文转载自https://my.oschina.net/blogByRzc/blog/1581757,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如有侵权行为,请联系我们,我们会及时删除.

阅读 1768 讨论 0 喜欢 0

抢先体验

扫码体验
趣味小程序
文字表情生成器

闪念胶囊

你要过得好哇,这样我才能恨你啊,你要是过得不好,我都不知道该恨你还是拥抱你啊。

直抵黄龙府,与诸君痛饮尔。

那时陪伴我的人啊,你们如今在何方。

不出意外的话,我们再也不会见了,祝你前程似锦。

这世界真好,吃野东西也要留出这条命来看看

快捷链接
网站地图
提交友链
Copyright © 2016 - 2021 Cion.
All Rights Reserved.
京ICP备2021004668号-1