...
| 代码块 | ||
|---|---|---|
| ||
cd /data/spark-3.0.0-bin-hadoop3.2/sbin ./start-all.sh |
2.5 检查Spark
在浏览器中输入：http://master节点的ipmaster节点的IP:8080，查看集群状态
在spark节点提交任务测试进入/data/spark-3.0.0-bin-hadoop3.2/bin目录，执行以下命令(注意将”节点IP”替换对应的IP或主机名注意将”Spark-MasterIP”替换对应的IP或主机名)
| 代码块 |
|---|
./spark-submit --class org.apache.spark.examples.SparkPi --master spark://节点IPSpark-MasterIP:7077 /data/sp2/spark-3.0.0-bin-hadoop3.2/examples/jars/spark-examples_2.12-3.0.0.jar 100 |
运行得出圆周率Pi的近似值3.14即部署成功。
2.5 运维操作
登陆10-10-35-65(Master)节点操作。
启动/停止spark服务
| 代码块 | ||
|---|---|---|
| ||
cd /data/spark-3.0.0-bin-hadoop3.2/sbin ./start-all.sh #启动spark#启动spark集群 ./stop-all.sh #停止spark#停止spark集群 |
查看日志
Spark的日志路径：/data/spark-3.0.0-bin-hadoop3.2/logs
安装部署或者使用中有问题，可能需要根据日志来分析解决。
...
