页面历史

...

vi /etc/hosts

文件末尾添文件末尾添加(根据实际环境信息设置)：

10.10.35.64 10-10-35-64
10.10.35.65 10-10-35-65
10.10.35.66 10-10-35-66
10.10.35.67 10-10-35-67

...

java -version

2.4 安装Spark

...

登陆10-10-35-65(Master)节点操作。

①解压Spark到指定目录

代码块
language bash
tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /data

②配置Spark从节点列表

代码块
language bash
cd /opt/spark-3.0.0-bin-hadoop3.2/conf cp slaves.template slaves vi slaves

把所有spark worker节点的机器名加到slaves文件中，参考如下:

代码块
language bash
10-10-35-65 10-10-35-66 10-10-35-67

③将Spark安装包分发到Spark Work节点(10-10-35-66(slave-1)、10-10-35-67(slave-2))

假设当前的系统用户为root命令如下：

代码块
language bash
scp -r /data

...

/spark-3.0.0-bin-hadoop3.2 root@10-10-35-66:/data/ scp -r /data/spark-3.0.0-bin-hadoop3.2 root@10-10-35-67:/data/

④在Spark Master节点(10-10-35-65(Master))启动Spark集群

代码块
language bash
cd /data/spark-3.0.0-bin-hadoop3.2/sbin ./start-all.sh

...