...
| 注意 |
|---|
|
单机部署数据挖掘组件环境如下： | 服务器IP | 主机名 | 组件实例 | 部署目录 |
|---|
| 10.10.204.248 | 10-10-204-248 | 数据挖掘 | /data | | 10.10.204.249 | 10-10-204-249 | Spark，Hadoop | /data | | 10.10.204.250 | 10-10-204-250 | Python | /data |
|
| 注意 |
|---|
|
数据挖掘数据量2000万以下时，可以不单独部署hadoop组件，提高数据挖掘服务器配置即可 |
...
| 代码块 |
|---|
|
tar -zxvf hadoop-3.2.23.tar.gz -C /data |
2.4.3.修改hadoop配置
...
| 代码块 |
|---|
|
cd /data/hadoop-3.2.23/etc/hadoop
vi hadoop-env.sh |
...
| 代码块 |
|---|
|
cd /data/hadoop-3.2.23/etc/hadoop
vi core-site.xml |
...
③ 修改hdfs-site.xml
| 代码块 |
|---|
cd /data/hadoop-3.2.23/etc/hadoop
vi hdfs-site.xml |
...
| 代码块 |
|---|
| language | bash |
|---|
| linenumbers | true |
|---|
|
cd /data/hadoop-3.2.23/etc/hadoop
vi hadoop-policy.xml |
...
| 代码块 |
|---|
|
export HADOOP_HOME=/data/hadoop-3.2.23
export PATH=$PATH:$HADOOP_HOME/bin |
...
| 代码块 |
|---|
|
cd /data/hadoop-3.2.23/
./bin/hdfs namenode -format |
...
| 代码块 |
|---|
|
cd /data/hadoop-3.2.23/
./sbin/start-dfs.sh |
③创建中间数据存储目录
...
| 代码块 |
|---|
|
cd /data/hadoop-3.2.23/
./sbin/stop-dfs.sh |
启动hadoop
| 代码块 |
|---|
|
cd /data/hadoop-3.2.23/
./sbin/start-dfs.sh |
查看日志
hadoop的日志路径：/data/hadoop-3.2.23/logs
安装部署或者使用中有问题，可能需要根据日志来分析解决。
...
