页面树结构

版本比较

标识

  • 该行被添加。
  • 该行被删除。
  • 格式已经改变。

...

注意
title前置条件

需要使用Smartbi提供的Spark3.0安装包部署1安装包部署


注意
title文档环境

集群部署数据挖掘组件环境如下:

服务器IP主机名组件实例部署目录
10.10.35.6410-10-35-64数据挖掘-1,Zookeeper-1,Python-1/data
10.10.35.6510-10-35-65数据挖掘-2,Spark-1,Hadoop-1/data
10.10.35.6610-10-35-66Spark-2,Zookeeper-2,Hadoop-2/data
10.10.35.6710-10-35-67Spark-3,Zookeeper-3,Hadoop-3,Python-2/data
10.10.204.25010-10-204-250Smartbi-Proxy/data


...

代码块
languagebash
tar -zxvf spark-3.01.02-bin-hadoop3.2.tgz -C /data

...

代码块
languagebash
cd /data/spark-3.01.02-bin-hadoop3.2/conf
cp slaves.template slaves
vi slaves

...

代码块
languagebash
scp -r /data/spark-3.01.02-bin-hadoop3.2  root@10-10-35-66:/data/
scp -r /data/spark-3.01.02-bin-hadoop3.2  root@10-10-35-67:/data/

...

代码块
languagebash
cd /data/spark-3.01.02-bin-hadoop3.2/sbin 
./start-all.sh

...

在spark节点提交任务测试进入/data/spark-3.01.02-bin-hadoop3.2/bin目录,执行以下命令(注意将”Spark-MasterIP”替换对应的IP或主机名)

代码块
./spark-submit --class org.apache.spark.examples.SparkPi --master spark://Spark-MasterIP:7077 /data/spark-3.01.02-bin-hadoop3.2/examples/jars/spark-examples_2.12-3.0.0.jar 100

...

代码块
languagebash
cd /data/spark-3.01.02-bin-hadoop3.2/sbin
./start-all.sh    #启动spark集群
./stop-all.sh     #停止spark集群


查看日志
Spark的日志路径:/data/spark-3.01.02-bin-hadoop3.2/logs
安装部署或者使用中有问题,可能需要根据日志来分析解决。

...