页面树结构
转至元数据结尾
转至元数据起始

Hortonworks Hadoop安装说明

 

Hortonworks是运行在Windows环境下的Hadoop,以2.0.6版本为安装示例。 (http://www.hortonworks.com/

 

一、操作系统要求

Windows Server 2008 R2 (64-bit) 或Windows Server 2012 (64-bit);这里选取Windows 2012。

二、预先安装下列软件

Microsoft Visual C++ 2010 Redistributable Package (64 bit)

Microsoft.NET framework 4.0 Windows 2012已自带)

Java JDK  Oracle JDK 1.6 update 31 64-bit 或Oracle JDK 7 64-bit;这里用JDK 7;

注意:

1.JDK安装目录不能带有空格,所以c:\program files\是不行的;可以用c:\software\java\

2.JDK安装完成后,要设置JAVA_HOME系统变量;例如JAVA_HOME=C:\Software\Java\jdk1.7.0_45

Python 2.7

安装完成后,在系统变量path中加入Python的目录,例如C:\Python27\

三、开始安装Hornonworks

1.关闭防火墙

2.点击运行hdp-2.0.6.0.winpkg.msi,弹出安装窗口

 

 

注意:

1.Windows 2012中文版环境中,DB Flavor部门会被遮盖,显示不出来,系统会默认选SQL Server,所以安装完成后必须修改配置。

2.”hadoop” user password必须是强密码,包含数字、大写字母、小写字母、特殊符号。

3.其他配置信息可按图。

4. 如果没有勾选"Delete existing HDP data",必须格式化HDFS文件系统,命令为bin\hadoop namenode –format

5. 安装完成

 

四、修改配置文件,更换为Mysql元数据库。

1、         在mysql中创建数据库hive

2、         将mysql驱动放到hive下,c:\hdp\hive-0.12.0.2.0.6.0-0009\lib

3、         打开配置文件c:\hdp\hive-0.12.0.2.0.6.0-0009\conf\hive-site.xml

<property>

  <name>javax.jdo.option.ConnectionURL</name>

  <value>jdbc:mysql://192.168.1.58:6655/hive?characterEncoding=UTF-8</value>

  <description>JDBC connect string for a JDBC metastore</description>

</property>

 

<property>

  <name>javax.jdo.option.ConnectionDriverName</name>

  <value>com.mysql.jdbc.Driver</value>

  <description>Driver class name for a JDBC metastore</description>

</property>

 

<property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>admin</value>

  </property>

 

  <property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>admin</value>

  </property>

 

五、 运行Hadoop/hive

  1. 到命令行,运行 start_local_hdp_services
  2. 运行命令hive,创建表,装载数据;

CREATE TABLE city (

id int,

name string,

countrycode string,

district string,

population int) 

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'

LINES TERMINATED BY '\n' STORED AS TEXTFILE;

 

load data local inpath '/software/city.txt' overwrite into table city;

 3.运行 hive –service hiveserver,然后就可以用jdbc客户端连接。