大数据Spark运行环境：Standalone模式与配置周密
发布时间：2021-06-04 17:21:28 所属栏目：大数据 来源：互联网
导读：大数据Spark运行环境：Standalone模式与相关配置详解 Standalone模式 这里我们来看看只使用Spark自身节点运行的集群模式，也就是我们所谓的独立部署(Standalone)模式。Spark的Standalone模式体现了经典的master-slave模式。 集群规划: 大数据Spark运行环境：
|
大数据Spark运行环境：Standalone模式与相关配置详解
Standalone模式
这里我们来看看只使用Spark自身节点运行的集群模式，也就是我们所谓的独立部署(Standalone)模式。Spark的Standalone模式体现了经典的master-slave模式。
集群规划:
大数据Spark运行环境：Standalone模式与配置详解
1 解压缩文件
将spark-3.0.0-bin-hadoop3.2.tgz.tgz文件上传到Linux并解压缩在指定位置
tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
cd /opt/module
mv spark-3.0.0-bin-hadoop3.2 spark-standalone
2 修改配置文件
1) 进入解压缩后路径的conf目录，修改slaves.template文件名为slaves
mv slaves.template slaves
2) 修改slaves文件，添加work节点
hadoop102hadoop103hadoop104
3) 修改spark-env.sh.template文件名为spark-env.sh
mv spark-env.sh.template spark-env.sh
4) 修改spark-env.sh文件，添加JAVA_HOME环境变量和集群对应的master节点
export JAVA_HOME=/opt/module/jdk1.8.0_212
SPARK_MASTER_HOST=hadoop102SPARK_MASTER_PORT=7077
注意：7077端口，相当于hadoop3.x内部通信的8020端口，此处的端口需要确认自己的虚拟机配置
5) 分发spark-standalone目录
xsync spark-standalone
3 启动集群
1) 执行脚本命令：
sbin/start-all.sh
2) 查看三台服务器运行进程
================hadoop102================
3330 Jps
3238 Worker
3163 Master
================hadoop103================
2966 Jps
2908 Worker
================hadoop104================
2978 Worker
3036 Jps
3) 查看Master资源监控Web UI界面: http://hadoop102:8080
4 提交应用
bin/spark-submit
--class org.apache.spark.examples.SparkPi
--master spark://hadoop102:7077
./examples/jars/spark-examples_2.12-3.0.0.jar
10
--class表示要执行程序的主类
--master spark://hadoop102:7077 独立部署模式，连接到Spark集群
spark-examples_2.12-3.0.0.jar 运行类所在的jar包
数字10表示程序的入口参数，用于设定当前应用的任务数量
执行任务时，会产生多个Java进程
大数据Spark运行环境：Standalone模式与配置详解
执行任务时，默认采用服务器集群节点的总核数，每个节点内存1024M。
5 配置历史服务
由于spark-shell停止掉后，集群监控hadoop102:4040页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。
1) 修改spark-defaults.conf.template文件名为spark-defaults.conf
mv spark-defaults.conf.template spark-defaults.conf
2) 修改spark-default.conf文件，配置日志存储路径
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop102:8020/directory
注意：需要启动hadoop集群，HDFS上的directory目录需要提前存在。
sbin/start-dfs.sh
hadoop fs -mkdir /directory
3) 修改spark-env.sh文件, 添加日志配置
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory
-Dspark.history.retainedApplications=30"
注：写成一行!!空格隔开!!!
参数1含义：WEB UI访问的端口号为18080
参数2含义：指定历史服务器日志存储路径
参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
 （编辑：保山站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
