...
注意 |
---|
|
需要使用Smartbi提供的Spark3.0安装包部署1安装包部署 |
注意 |
---|
|
集群部署数据挖掘组件环境如下: 服务器IP | 主机名 | 组件实例 | 部署目录 |
---|
10.10.35.64 | 10-10-35-64 | 数据挖掘-1,Zookeeper-1,Python-1 | /data | 10.10.35.65 | 10-10-35-65 | 数据挖掘-2,Spark-1,Hadoop-1 | /data | 10.10.35.66 | 10-10-35-66 | Spark-2,Zookeeper-2,Hadoop-2 | /data | 10.10.35.67 | 10-10-35-67 | Spark-3,Zookeeper-3,Hadoop-3,Python-2 | /data | 10.10.204.250 | 10-10-204-250 | Smartbi-Proxy | /data |
|
...
代码块 |
---|
|
tar -zxvf spark-3.01.02-bin-hadoop3.2.tgz -C /data |
...
代码块 |
---|
|
cd /data/spark-3.01.02-bin-hadoop3.2/conf
cp slaves.template slaves
vi slaves |
...
代码块 |
---|
|
scp -r /data/spark-3.01.02-bin-hadoop3.2 root@10-10-35-66:/data/
scp -r /data/spark-3.01.02-bin-hadoop3.2 root@10-10-35-67:/data/ |
...
代码块 |
---|
|
cd /data/spark-3.01.02-bin-hadoop3.2/sbin
./start-all.sh |
...
在spark节点提交任务测试进入/data/spark-3.01.02-bin-hadoop3.2/bin目录,执行以下命令(注意将”Spark-MasterIP”替换对应的IP或主机名)
代码块 |
---|
./spark-submit --class org.apache.spark.examples.SparkPi --master spark://Spark-MasterIP:7077 /data/spark-3.01.02-bin-hadoop3.2/examples/jars/spark-examples_2.12-3.0.0.jar 100 |
...
代码块 |
---|
|
cd /data/spark-3.01.02-bin-hadoop3.2/sbin
./start-all.sh #启动spark集群
./stop-all.sh #停止spark集群 |
查看日志
Spark的日志路径:/data/spark-3.01.02-bin-hadoop3.2/logs
安装部署或者使用中有问题,可能需要根据日志来分析解决。
...