...
| 代码块 |
|---|
| language | bash |
|---|
| linenumbers | true |
|---|
|
sed -i 's/=enforcing/=disabled/g' /etc/selinux/config |
1.2取消打开文件限制
修改/etc/security/limits.conf文件在文件的末尾加入以下内容：
| 代码块 |
|---|
| language | bash |
|---|
| linenumbers | true |
|---|
|
vi /etc/security/limits.conf |
在文件的末尾加入以下内容：
| 代码块 |
|---|
| language | bash |
|---|
| linenumbers | true |
|---|
|
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072 |
2、Hadoop集群安装
| 注意 |
|---|
|
Hadoop集群节点： | 主机名 | 组件 |
|---|
| 10-10-35-65 | Hadoop namenode、Hadoop datanode | | 10-10-35-66 | Hadoop datanode | | 10-10-35-67 | Hadoop datanode |
|
2.1 配置主机名映射
将数据挖掘组件中的服务器主机名映射到hosts文件中(所有节点均需执行此操作，如果添加过则无需重复添加)
文件末尾添(根据实际环境信息设置)：
| 代码块 |
|---|
|
10.10.204.24835.64 10-10-35-64
10.10.35.65 10-10-20435-24865
10.10.20435.24966 10-10-20435-24966
10.10.20435.25067 10-10-20435-25067 |
2.2 配置系统免密登录
...
| 注意 |
|---|
|
Hadoop集群节点均需配置系统免密登陆 由于文档环境Spark和Hadoop部署在相同服务器，故而无需重复配置系统免密登陆。 |
①登陆服务器，生成密钥
输入ssh-keygen后，连续按三次回车，不用输入其它信息。
复制公钥到文件中：②复制本机公钥到其它机器
| 代码块 |
|---|
|
catssh-copy-id -i ~/.ssh/id_rsa.pub >> root@10-10-35-65
ssh-copy-id -i ~/.ssh/authorized_keys
chmod 0600id_rsa.pub root@10-10-35-66
ssh-copy-id -i ~/.ssh/authorized_keys |
测试是否设置成功
...
id_rsa.pub root@10-10-35-67 |
测试是否设置成功
| 代码块 |
|---|
|
ssh root@10-10-204-25035-65
ssh root@10-10-35-66
ssh root@10-10-35-67 |
如果不用输入密码，表示配置成功
2.3 安装JAVA环境
| 注意 |
|---|
|
Hadoop集群节点均需配置JAVA环境 由于文档环境Spark和Hadoop部署在相同服务器，故而无需重复配置JAVA环境。 |
解压jdk到指定目录：
| 代码块 |
|---|
|
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /data |
...
2.4 安装Hadoop
2.4.1.
...
准备Hadoop数据目录
创建临时目录
| 代码块 |
|---|
|
mkdir -p /data/hdfs/tmp |
...
