页面历史

...

2.1 配置主机名映射

将数据挖掘组件中的服务器主机名映射到hosts文件中(所有节点均需执行此操作)

...

tar -zxvf spark-3.1.23-bin-hadoop3.2.tgz -C /data

...

cd /data/spark-3.1.23-bin-hadoop3.2/conf
cp workers.template slavesworkers
vi slavesworkers

把所有spark worker节点的机器名加到slaves文件中，参考如下worker节点的机器名加到workers文件中，参考如下:

10-10-35-65
10-10-35-66
10-10-35-67

...

③将Spark安装包分发到Spark Work节点(10-10-35-66(slavework-1)、10-10-35-67(slavework-2))

假设当前的系统用户为root命令如下：

scp -r /data/spark-3.1.23-bin-hadoop3.2  root@10-10-35-66:/data/
scp -r /data/spark-3.1.23-bin-hadoop3.2  root@10-10-35-67:/data/

...

cd /data/spark-3.1.23-bin-hadoop3.2/sbin 
./start-all.sh

...

在spark节点提交任务测试进入/data/spark-3.1.23-bin-hadoop3.2/bin目录，执行以下命令(注意将”Spark-MasterIP”替换对应的IP或主机名)

./spark-submit --class org.apache.spark.examples.SparkPi --master spark://Spark-MasterIP:7077 /data/spark-3.1.23-bin-hadoop3.2/examples/jars/spark-examples_2.12-3.0.0.jar 100

...

cd /data/spark-3.1.23-bin-hadoop3.2/sbin
./start-all.sh    #启动spark集群
./stop-all.sh     #停止spark集群

查看日志
Spark的日志路径：/data/spark-3.1.23-bin-hadoop3.2/logs
安装部署或者使用中有问题，可能需要根据日志来分析解决。

...