Hortonworks Hadoop安装说明
Hortonworks是运行在Windows环境下的Hadoop,以2.0.6版本为安装示例。 (http://www.hortonworks.com/)
一、操作系统要求
Windows Server 2008 R2 (64-bit) 或Windows Server 2012 (64-bit);这里选取Windows 2012。
二、预先安装下列软件
Microsoft Visual C++ 2010 Redistributable Package (64 bit)
Microsoft.NET framework 4.0 (Windows 2012已自带)
Java JDK Oracle JDK 1.6 update 31 64-bit 或Oracle JDK 7 64-bit;这里用JDK 7;
注意:
1.JDK安装目录不能带有空格,所以c:\program files\是不行的;可以用c:\software\java\
2.JDK安装完成后,要设置JAVA_HOME系统变量;例如JAVA_HOME=C:\Software\Java\jdk1.7.0_45
Python 2.7
安装完成后,在系统变量path中加入Python的目录,例如C:\Python27\
三、开始安装Hornonworks
1.关闭防火墙
2.点击运行hdp-2.0.6.0.winpkg.msi,弹出安装窗口
注意:
1.Windows 2012中文版环境中,DB Flavor部门会被遮盖,显示不出来,系统会默认选SQL Server,所以安装完成后必须修改配置。
2.”hadoop” user password必须是强密码,包含数字、大写字母、小写字母、特殊符号。
3.其他配置信息可按图。
4. 如果没有勾选"Delete existing HDP data",必须格式化HDFS文件系统,命令为bin\hadoop namenode –format
5. 安装完成
四、修改配置文件,更换为Mysql元数据库。
1、 在mysql中创建数据库hive
2、 将mysql驱动放到hive下,c:\hdp\hive-0.12.0.2.0.6.0-0009\lib
3、 打开配置文件c:\hdp\hive-0.12.0.2.0.6.0-0009\conf\hive-site.xml
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.1.58:6655/hive?characterEncoding=UTF-8</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>admin</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>admin</value>
</property>
五、 运行Hadoop/hive
CREATE TABLE city (
id int,
name string,
countrycode string,
district string,
population int)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n' STORED AS TEXTFILE;
load data local inpath '/software/city.txt' overwrite into table city;
3.运行 hive –service hiveserver,然后就可以用jdbc客户端连接。