...
注意 |
---|
|
单机部署数据挖掘组件环境如下: 服务器IP | 主机名 | 组件实例 | 部署目录 |
---|
10.10.204.248 | 10-10-204-248 | 数据挖掘 | /data | 10.10.204.249 | 10-10-204-249 | Spark,Hadoop | /data | 10.10.204.250 | 10-10-204-250 | Python | /data |
|
注意 |
---|
|
数据挖掘数据量2000万以下时,可以不单独部署hadoop组件,提高数据挖掘服务器配置即可 |
...
代码块 |
---|
|
tar -zxvf hadoop-3.2.23.tar.gz -C /data |
2.4.3.修改hadoop配置
...
代码块 |
---|
|
cd /data/hadoop-3.2.23/etc/hadoop
vi hadoop-env.sh |
...
代码块 |
---|
|
cd /data/hadoop-3.2.23/etc/hadoop
vi core-site.xml |
...
③ 修改hdfs-site.xml
代码块 |
---|
cd /data/hadoop-3.2.23/etc/hadoop
vi hdfs-site.xml |
...
代码块 |
---|
language | bash |
---|
linenumbers | true |
---|
|
cd /data/hadoop-3.2.23/etc/hadoop
vi hadoop-policy.xml |
...
代码块 |
---|
|
export HADOOP_HOME=/data/hadoop-3.2.23
export PATH=$PATH:$HADOOP_HOME/bin |
...
代码块 |
---|
|
cd /data/hadoop-3.2.23/
./bin/hdfs namenode -format |
...
代码块 |
---|
|
cd /data/hadoop-3.2.23/
./sbin/start-dfs.sh |
③创建中间数据存储目录
...
代码块 |
---|
|
cd /data/hadoop-3.2.23/
./sbin/stop-dfs.sh |
启动hadoop
代码块 |
---|
|
cd /data/hadoop-3.2.23/
./sbin/start-dfs.sh |
查看日志
hadoop的日志路径:/data/hadoop-3.2.23/logs
安装部署或者使用中有问题,可能需要根据日志来分析解决。
...