...
| 注意 |
|---|
|
需要使用Smartbi提供的Spark3.0安装包部署 |
| 注意 |
|---|
|
j集群部署数据挖掘组件环境如下：集群部署数据挖掘组件环境如下： | 服务器IP | 主机名 | 组件实例 | 部署目录 |
|---|
| 10.10.35.64 | 10-10-35-64 | 数据挖掘-1，Zookeeper- |
1，Hadoop| 1，Python-1 | /data | | 10.10.35.65 | 10-10-35-65 | 数据挖掘- |
2，Zookeeper2，Spark| 1，Hadoop-1 | /data | | 10.10.35.66 | 10-10-35-66 | Spark- |
2，Zookeeper3，Hadoop2，Python-1| 2 | /data | | 10.10.35.67 | 10-10-35-67 | Spark-3，Zookeeper-3，Hadoop-3，Python-2 | /data |
|
1、系统环境准备
1.1防火墙配置
为了便于安装，建议在安装前关闭防火墙。使用过程中，为了系统安全可以选择启用防火墙，但必须启用服务相关端口。
...
| 代码块 |
|---|
|
systemctl status firewalld
|
2.开启防火墙
相关服务及端口对照表：
| 服务名 | 需要开放端口 |
|---|
| Spark | 8080，8081，7077，[30000-65535] |
如果确实需要打开防火墙安装，需要给防火墙放开以下需要使用到的端口
开启端口：8080，8081，7077，[30000-65535]
...
| 代码块 |
|---|
|
sed -i 's/=enforcing/=disabled/g' /etc/selinux/config |
...
2、Spark集群安装
| 注意 |
|---|
|
| Spark集群节点：10-10-35-65(Master)、10-10-35-66(slave-1)、10-10-35-67(slave-2) |
2.1 配置主机名映射
将数据挖掘组件中的服务器主机名映射到hosts文件中(所有节点均需执行此操作)
...
| 代码块 |
|---|
|
10.10.35.64 10-10-35-64
10.10.35.65 10-10-35-65
10.10.35.66 10-10-35-66
10.10.35.67 10-10-35-67 |
2.2 配置系统免密登录
...
①登陆服务器，生成密钥
输入ssh-keygen后，连续按三次回车，不用输入其它信息。复制公钥到文件中：
②复制本机公钥到其它机器
假设当前的系统用户为root(注意，每台机器使用同一个用户来安装), 那命令如下:
| 代码块 |
|---|
|
catssh-copy-id -i ~/.ssh/id_rsa.pub >> root@10-10-35-65
ssh-copy-id -i ~/.ssh/authorized_keys
chmod 0600id_rsa.pub root@10-10-35-66
ssh-copy-id -i ~/.ssh/authorized_keysid_rsa.pub root@10-10-35-67 |
测试是否设置成功
示例:
| 代码块 |
|---|
|
ssh root@10-10-35-65
ssh root@10-10-35-66
ssh root@10-10-20435-24967 |
如果不用输入密码，表示配置成功
2.3 安装JAVA环境
解压jdk到指定目录：
| 代码块 |
|---|
|
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /data |
...
