...
| 注意 |
|---|
|
需要使用Smartbi提供的Spark3.0安装包部署1安装包部署 |
| 注意 |
|---|
|
集群部署数据挖掘组件环境如下： | 服务器IP | 主机名 | 组件实例 | 部署目录 |
|---|
| 10.10.35.64 | 10-10-35-64 | 数据挖掘-1，Zookeeper-1，Python-1 | /data | | 10.10.35.65 | 10-10-35-65 | 数据挖掘-2，Spark-1，Hadoop-1 | /data | | 10.10.35.66 | 10-10-35-66 | Spark-2，Zookeeper-2，Hadoop-2 | /data | | 10.10.35.67 | 10-10-35-67 | Spark-3，Zookeeper-3，Hadoop-3，Python-2 | /data | | 10.10.204.250 | 10-10-204-250 | Smartbi-Proxy | /data |
|
...
| 代码块 |
|---|
|
tar -zxvf spark-3.01.02-bin-hadoop3.2.tgz -C /data |
...
| 代码块 |
|---|
|
cd /data/spark-3.01.02-bin-hadoop3.2/conf
cp slaves.template slaves
vi slaves |
...
| 代码块 |
|---|
|
scp -r /data/spark-3.01.02-bin-hadoop3.2 root@10-10-35-66:/data/
scp -r /data/spark-3.01.02-bin-hadoop3.2 root@10-10-35-67:/data/ |
...
| 代码块 |
|---|
|
cd /data/spark-3.01.02-bin-hadoop3.2/sbin
./start-all.sh |
...
在spark节点提交任务测试进入/data/spark-3.01.02-bin-hadoop3.2/bin目录，执行以下命令(注意将”Spark-MasterIP”替换对应的IP或主机名)
| 代码块 |
|---|
./spark-submit --class org.apache.spark.examples.SparkPi --master spark://Spark-MasterIP:7077 /data/spark-3.01.02-bin-hadoop3.2/examples/jars/spark-examples_2.12-3.0.0.jar 100 |
...
| 代码块 |
|---|
|
cd /data/spark-3.01.02-bin-hadoop3.2/sbin
./start-all.sh #启动spark集群
./stop-all.sh #停止spark集群 |
查看日志
Spark的日志路径：/data/spark-3.01.02-bin-hadoop3.2/logs
安装部署或者使用中有问题，可能需要根据日志来分析解决。
...
