...
| 注意 |
|---|
|
数据挖掘数据量2000万以下时，可以不单独部署hadoop组件，提高数据挖掘服务器配置即可 |
1、系统环境准备
| 注意 |
|---|
|
配置防火墙，selinux相关操作，需要管理员权限。 |
1.1 防火墙配置
为了便于安装，建议在安装前关闭防火墙。使用过程中，为了系统安全可以选择启用防火墙，但必须启用服务相关端口。
...
| 代码块 |
|---|
| language | bash |
|---|
| linenumbers | true |
|---|
|
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072 |
2、Hadoop单节点安装
2.1 配置主机名映射
将数据挖掘组件中的服务器主机名映射到hosts文件中
...
2.4 安装Hadoop
| 注意 |
|---|
|
1、安装部署、启动hadoop等，可以使用普通用户权限进行操作。 2、部署过程中用普通用户操作，则后续的所有运维操作等，都需要用普通用户来执行。如果切换其他用户操作，可能会因为权限问题导致服务启动失败。 3、hadoop的端口配置如果小于1024，也需要管理员权限才能启动服务。 |
2.4.1.准备hadoop数据目录
创建临时目录
| 代码块 |
|---|
|
mkdir -p /data/hdfs/tmp |
...
