页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

...

代码块
languagebash
cd /data/spark-3.0.0-bin-hadoop3.2/sbin 
./start-all.sh

Image Added


2.5 检查Spark

在浏览器中输入:http://master节点的ipmaster节点的IP:8080,查看集群状态

Image Added


在spark节点提交任务测试进入/data/spark-3.0.0-bin-hadoop3.2/bin目录,执行以下命令(注意将”节点IP”替换对应的IP或主机名注意将”Spark-MasterIP”替换对应的IP或主机名)

代码块
./spark-submit --class org.apache.spark.examples.SparkPi --master spark://节点IPSpark-MasterIP:7077 /data/sp2/spark-3.0.0-bin-hadoop3.2/examples/jars/spark-examples_2.12-3.0.0.jar 100

Image Added

运行得出圆周率Pi的近似值3.14即部署成功。

2.5 运维操作

登陆10-10-35-65(Master)节点操作。

启动/停止spark服务

代码块
languagebash
cd /data/spark-3.0.0-bin-hadoop3.2/sbin
./start-all.sh    #启动spark#启动spark集群
./stop-all.sh     #停止spark#停止spark集群


查看日志
Spark的日志路径:/data/spark-3.0.0-bin-hadoop3.2/logs
安装部署或者使用中有问题,可能需要根据日志来分析解决。

...