php教程

Hive 1.2.1&Spark&Sqoop安装指南_PHP教程

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jul 12, 2016 am 08:58 AM

android

Hive 1.2.1&Spark&Sqoop安装指南

Hive 1.2.1&Spark&Sqoop安装指南.pdf

1.前言

本文的安装参照《Hive0.12.0安装指南》，内容来源于官方的：GettingStarted，将Hive1.2.1安装在Hadoop2.7.1上。本文将Hive配置成Server模式，并且使用MySQL作为元数据数据库，远程连接MySQL。

关于Hadoop2.7.1的安装，请参见《Hadoop-2.7.1分布式安装手册》一文。

2.约定

本文约定Hadoop被安装在/data/hadoop/current，将Hive1.2.1的安装到目录/data/hadoop/hive（实际是指向/data/hadoop/hive-1.2.1-bin的软链接）。将MySQL5.7.10安装到目录/data/mysql。在实际安装部署时，可以指定为其它目录。

3.服务端口

10000	hive.server2.thrift.port，执行hiveserver2时会启动它
9083	hive.metastore.uris，执行hive--servicemetastore时会启动它

4.安装MySQL

由于单台MySQL有单点问题，因此实际中需要配置成主备MySQL方式。

4.1.安装MySQL

本文MySQL被安装在172.25.39.166机器上，Hive用MySQL来存储元数据，因此需要先安装好MySQL。这里安装的是最新的MySQL5.7.10，下载网址为：http://dev.mysql.com/downloads/mysql/，本文选择是的“Linux-Generic”下的“Linux-Generic(glibc2.5)(x86,64-bit),CompressedTARArchive”，它的二进制安装包名为mysql-5.7.10-linux-glibc2.5-x86_64.tar.gz。

将二进制安装包解压后，可看到名为INSTALL-BINARY的文件，该文件有说明如何安装MySQL，本文基本参照它进行的。

由于官方提供的二进制安装包，编译的时候指定的“--prefix”为“/usr/local/mysql”，所以最好将mysql安装在/usr/local目录下，否则安装过程会容易遇到问题。但建立将数据目录指定为一个足够大的分区下的目录。

当然data目录也可以为软链接方式到足够大的分区目录，并且推荐使用软链接方式，否则在使用mysql命令时，经常需要指定参数“--datadir”，比如mysqld、mysqld_safe和mysql_ssl_rsa_setup等都需要指定“--datadir”。

如果不是安装在/usr/local/mysql，则需要为mysqld指定--basedir、--character-sets-dir、--language、--lc-messages-dir、--plugin-dir等众多参数值。

如果不能root用户安装，则还需要为mysqld指定--slow-query-log-file、--socket、--pid-file、--plugin-dir和--general-log-file等参数值。

这些参数的默认值，都可以通过执行MySQL的“bin/mysqld--verbose--help”查看到。

#MySQL安装目录为/usr/local/mysql，数据目录实际为/data/mysql/data

#注意需以root用户安装MySQL，如果不能root用户安装，容易遇到安装麻烦

#并请注意5.7.6之前的版本安装略有不同！

#新建mysql用户组

groupaddmysql

#新建mysql用户，并设置为不能作为linux登录用户

useradd-r-gmysql-s/bin/falsemysql

#进入到mysql安装目录

cd/usr/local

#解压二进制安装包

tarxzfmysql-5.7.10-linux-glibc2.5-x86_64.tar.gz

#建立易记的、与版本无关的短链接

ln-smysql-5.7.10-linux-glibc2.5-x86_64mysql

#进入到mysql目录

cdmysql

#创建数据目录

mkdir-p/data/mysql/data

#建立数据目录软链接，让指向/usr/local/mysql/data指向/data/mysql/data

ln-s/data/mysql/data/usr/local/mysql/data

#设置目录权限

chmod770/data/mysql/data

chown-Rmysql/data/mysql/data

chgrp-Rmysql/data/mysql/data

chown-Rmysql.

chgrp-Rmysql.

#初始化（成功执行完mysqld后，会提供一个临时的root密码，请务必记住）

#另外需要注意临时密码会过期，所以需要尽量修改root密码

#进入MySQLCli后，执行下列命令即可修改成新密码：

#SETPASSWORDFOR'root'@'localhost'=PASSWORD('new_password');

bin/mysqld--initialize--user=mysql--explicit_defaults_for_timestamp

#安装和配置SSL

bin/mysql_ssl_rsa_setup

#重置目录权限

chown-Rroot.

chown-Rmysql/data/mysql/data

#启动mysql

bin/mysqld_safe--user=mysql&

#查看端口是否已起来（不修改配置和不指定参数--port，默认端口号为3306）

netstat-lpnt|grep3306

#停止MySQL

support-files/mysql.serverstop

#设置mysql随着系统自启动

cpsupport-files/mysql.server/etc/init.d/mysql.server

以上使用的都是MySQL默认配置，如果需要定制化，可以通过修改文件my.cnf来达成。MySQL5.7.10不带my.cnf，只有个support-files/my-default.cnf。

通过执行命令“support-files/my-default.cnf”，可以了解到MySQL搜索my.cnf的顺序依次为：/etc/my.cnf/etc/mysql/my.cnf/usr/local/mysql/etc/my.cnf~/.my.cnf，这样可以复制一份my-default.cnf，然后再修改，如：cpsupport-files/my-default.cnf/etc/my.cnf。

4.2.创建Hive元数据库

创建数据库hive：

createdatabaseifnotexistshive;

创建数据库用户hive：

createuserhiveidentifiedby'hive2016';

授权可以访问数据库hive的IP和用户，其中localhost的实际IP为172.25.39.166：

grantallonhive.*to'hive'@'localhost'identifiedby'hive2016';

grantallonhive.*to'hive'@'172.25.39.166'identifiedby'hive2016';

grantallonhive.*to'hive'@'172.25.40.171'identifiedby'hive2016';

进入hive数据库：

1)本机进入：mysql-uhive-phive2016

2)非本机进入：mysql-uhive-h172.25.39.166-phive2016

注意如果配置了MySQL主主同步或其它同步，则如果同步的库不包含mysql，则创建库和用户需要分别在不同的MySQL上操作一次。

5.安装步骤

5.1.下载Hive1.2.1二进制安装包

下载网址：http://hive.apache.org/downloads.html，下载后的包名为：apache-hive-1.2.1-bin.tar.gz，然后将apache-hive-1.2.1-bin.tar.gz上传到/data目录下。

5.2.安装Hive

1)切换到/data目录：cd/data

2)解压二进制安装包：tarxzfapache-hive-1.2.1-bin.tar.gz

3)改个名：mvapache-hive-1.2.1-binhive-1.2.1

4)建立软链接：ln-shive-1.2.1hive

5.3.安装MySQL-Connector

MySQL-Connector下载网址：http://dev.mysql.com/downloads/connector/。

选择“Connector/J”，接着选择“PlatformIndependent”，本文下载的是“mysql-connector-java-5.1.38.tar.gz”。

压缩包“mysql-connector-java-5.1.38.tar.gz”中有个mysql-connector-java-5.1.38-bin.jar，解压后将mysql-connector-java-5.1.38-bin.jar上传到Hive的lib目录下，这个是MySQL的JDBC驱动程序。

5.4.修改配置

5.4.1.修改/etc/profile或~/.profile

设置环境变量HIVE_HOME，并将Hive加入到PATH中：

exportHIVE_HOME=/data/hadoop/hive

exportPATH=$HIVE_HOME/bin:$PATH

5.4.2.修改其它配置文件

进入/data/hadoop/hive/conf目录，可以看到如下：

hadoop@VM-40-171-sles10-64:~/hive/conf>ls

hive-default.xml.templatehive-exec-log4j.properties.template

hive-env.sh.templatehive-log4j.properties.template

可以看到4个模板文件，复制并重命名成配置文件：

cphive-env.sh.templatehive-env.sh

cphive-default.xml.templatehive-site.xml

cphive-log4j.properties.templatehive-log4j.properties

cphive-exec-log4j.properties.templatehive-exec-log4j.properties

5.4.2.1.修改hive-env.sh

如果之前没有设置好HADOOP_HOME环境变量，则可在hive-env.sh中，进行设置：

HADOOP_HOME=/data/hadoop/current

5.4.2.2.修改hive-site.xml

1)修改javax.jdo.option.ConnectionURL

将值设置为：

jdbc:mysql://172.25.39.166:3306/hive?useSSL=false，

注意加上“useSSL=false”，另外还有诸于参数characterEncoding=UTF-8等。

2)修改javax.jdo.option.ConnectionDriverName

将值设置为：com.mysql.jdbc.Driver。

3)修改javax.jdo.option.ConnectionUserName

将值设置为访问hive数据库的用户名hive：hive。

4)修改javax.jdo.option.ConnectionPassword

将值设置为访问hive数据库的密码：hive2016。

5)修改hive.metastore.schema.verification

该值试情况进行修改。

6)修改hive.zookeeper.quorum

将值设置为：10.12.154.77,10.12.154.78,10.12.154.79，ZooKeeper被安装在这三台机器上。建议使用机器名，而不是IP，因为机器退役可能导致IP变换。

7)修改hive.metastore.uris

将值设置为：thrift://172.25.40.171:9083，9083为Hive元数据的RPC服务端口。

8)修改hive.metastore.warehouse.dir

将值设置为：/data/hadoop/hive/warehouse，注意启动前，需要创建好该目录（mkdir/data/hadoop/hive/warehouse）。

9)修改hive.server2.thrift.bind.host

该值默认为localhost，如果需要在其它机器远程访问Hive，则需要将它改成IP地址，本文将它改成172.25.40.171，可以考虑为0.0.0.0。

10)修改hive.exec.scratchdir

这一步可选，可直接使用默认值/tmp/hive。设置为：/data/hadoop/hive/tmp或其它，并创建好目录。

11)修改hive.exec.local.scratchdir

设置为：/data/hadoop/hive/tmp/scratch或其它，并创建好目录。

12)修改hive.downloaded.resources.dir

设置为：/data/hadoop/hive/tmp/resources或其它，并创建好目录。

13)修改hive.querylog.location

设置为：/data/hadoop/hive/tmp/querylog或其它，并创建好目录。

14)修改hive.server2.logging.operation.log.location

设置为：/data/hadoop/hive/tmp/operation或其它，并创建好目录。

5.4.2.3.修改hive-log4j.properties

修改日志文件存放目录，将日志目录由/tmp/${user.name}改为/data/hadoop/hive/logs：

hive.log.dir=/data/hadoop/hive/logs

然后创建好目录/data/hadoop/hive/logs。

5.4.2.4.修改hive-exec-log4j.properties

修改日志文件存放目录，将日志目录由默认的/tmp/${user.name}改为/data/hadoop/hive/logs/exec：

hive.log.dir=/data/hadoop/hive/logs/exec

然后创建好目录/data/hadoop/hive/logs/exec。

6.启动运行

1)初始化metastore

安装配置好后，在启动Hive服务端之前，需要在服务端执行一次“schematool-dbTypemysql-initSchema”，以完成对metastore的初始化。

如果配置了MySQL主主同步，则只需要一台hive机器上执行，重复执行会报错。

2)启动metastore

执行命令：hive--servicemetastore&

3)启动Hive服务

执行：hiveserver2&。

4)进入Hive命令行操作界面（类似于mysql）

执行：hive

除了使用hive命令行操作界面之外，hiveserver2还提供了beeline（hive是用户名，hive2016是密码，可以从HiveServer2+Clients获得更多信息）：

hadoop@VM-40-171-sles10-64:~/hive/bin>./beeline

Beelineversion1.2.1byApacheHive

beeline>!connectjdbc:hive2://172.25.40.171:10000hivehive2016org.apache.hive.jdbc.HiveDriver

Connectingtojdbc:hive2://172.25.40.171:10000

SLF4J:ClasspathcontainsmultipleSLF4Jbindings.

SLF4J:Foundbindingin[jar:file:/data/hadoop/hadoop-2.7.1/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J:Foundbindingin[jar:file:/data/hadoop/hive-1.2.1-bin/lib/slf4j-log4j12-1.6.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J:Seehttp://www.slf4j.org/codes.html#multiple_bindingsforanexplanation.

SLF4J:Actualbindingisoftype[org.slf4j.impl.Log4jLoggerFactory]

Connectedto:Hive(version1.2.1)

Driver:Hive(version1.2.1)

Transactionisolation:TRANSACTION_REPEATABLE_READ

0:jdbc:hive2://172.25.40.171:10000>select*frominviteslimit2;

+------+----------+-------+

|foo|bar|ds|

+------+----------+-------+

|474|val_475|2014|

|281|val_282|2014|

+------+----------+-------+

2rowsselected(1.779seconds)

0:jdbc:hive2://172.25.40.171:10000>

7.远程执行HSQL

将hive/bin、hive/lib、hive/conf和hive/examples打包，如：tarczfhive-bin.tar.gzhive/binhive/libhive/confhive/examples。

然后将hive-bin.tar.gz上传到其它机器，借助beeline即可远程执行HSQL（用hive可能会遇到问题，本文在操作时，使用hive，在执行HSQL时总会卡住，日志也没有记录特别原因，暂未去定位）。

8.基本命令

以下内容来自官网（GettingStarted），注意命令不区分大小写：

CREATETABLEpokes(fooINT,barSTRING);

CREATETABLEinvites(fooINT,barSTRING)PARTITIONEDBY(dsSTRING);

SHOWTABLES;

SHOWTABLES'.*s';

DESCRIBEinvites;

DROPTABLEpokes;

Hive的安装目录下有个examples子目录，存储了示例用到的数据文件等。测试往表invites中加载数据，将文件../examples/files/kv2.txt加载到表invites中：

LOADDATALOCALINPATH'../examples/files/kv2.txt'OVERWRITEINTOTABLEinvitesPARTITION(ds='2014');

可以通过“select*frominvites;”来检验加载情况，或者执行“selectcount(1)frominvites;”。

9.单点方案

可通过部署两个hive来解决单点，元数据库采用MySQL，MySQL和hive部署在相同机器上，两个MySQL配置成主主同步。

hive为一主一热备的方式，最好保证同一时刻只有一个hive提供服务，虽然很多情况下，两个hive都提供服务也能正常工作。

10.和Spark集成

Spark集成Hive非常简单，只需以下几步：

1)在spark-env.sh中加入HIVE_HOME，如：exportHIVE_HOME=/data/hadoop/hive

2)将Hive的hive-site.xml和hive-log4j.properties两个文件复制到Spark的conf目录下。

完成后，再次执行spark-sql进入Spark的SQLCli，运行命令showtables即可看到在Hive中创建的表。

示例：

./spark-sql--masteryarn--driver-class-path/data/hadoop/hive/lib/mysql-connector-java-5.1.38-bin.jar

11.和Sqoop集成

以sqoop-1.4.6.bin__hadoop-2.0.4-alpha为例，支持增量导入，不但可以将数据导入到Hive中，还可以往HBase导数据，也可以将数据从DB导入到HDFS存储。总之，Sqoop功能十分强大，但这里仅简单介绍。

从Sqoop的官网（下载网址：http://www.apache.org/dyn/closer.lua/sqoop/1.4.6）下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz。

解压，然后进入Sqoop的conf目录，完成以下修改即可：

11.1.修改sqoop-env.sh

复制一份sqoop-env-template.sh，命名为sqoop-env.sh。在sqoop-env.sh中设置以下环境变量：

1)HADOOP_COMMON_HOME

值为Hadoop的安装目录，示例：exportHADOOP_COMMON_HOME=/data/hadoop

2)HADOOP_MAPRED_HOME

值为hadoop-common-*.tar文件所在目录，位于Hadoop安装目录之下。

示例：exportHADOOP_MAPRED_HOME=/data/hadoop/share/hadoop/common

3)HBASE_HOME

值为HBase的安装目录，示例：exportHBASE_HOME=/data/hbase

4)HIVE_HOME

值为Hive的安装目录，示例：exportHIVE_HOME=/data/hive

5)ZOOCFGDIR

值为Zookeeper的配置目录，示例：exportZOOCFGDIR=/data/zookeeper/conf

11.2.修改sqoop-site.xml

复制一份sqoop-site-template.xml，命名为sqoop-site.xml，可不做任何修改。

11.3.验证测试

1)列出MySQL数据库

./sqooplist-databases--connectjdbc:mysql://127.0.0.1:3306/--usernamezhangsan--passwordzhangsan2016

2)根据MySQL表创建Hive表

./sqoopcreate-hive-table--connectjdbc:mysql://127.0.0.1:3306/test--usernamezhangsan--passwordzhangsan2016--tablet_test--hive-tablet_test_2016

如果Hive表需要分区，可以通过参数--hive-partition-key和--hive-partition-value来指定。

如果需覆盖已存在的Hive表，加上参数“--hive-overwrite”即可。“--hive-partition-key”值为分区名，默认为string型，“–hive-partition-value”为分区的值。

3)将数据从MySQL导入到Hive

./sqoopimport--connectjdbc:mysql://127.0.0.1:3306/test--usernamezhangsan--password'zhangsan2016'--tablet_test--hive-import-m6--hive-tablet_test_2016--direct

建议带上参数“--direct”，表示使用快速模式，比如它会利用MySQL的工具mysqldump导出数据。

“-m”表示启用多少个map并行导入数据，默认是4个，最好不要将数字设置为高于集群的最大Map数。

“–table”用来指定要导入的DB表名，“--hive-import”表示从DB导入数据到Hive。还可以借助参数“--query”使用SQL有条件的从DB中导出。

如果需要指定字符集，使用参数“--default-character-set”，如：--default-character-setUTF-8。

12.常见错误

1)TIMESTAMPwithimplicitDEFAULTvalueisdeprecated

执行MySQL的“bin/mysqld--initialize--user=mysql”时报的错误。

原因是从MySQL5.6版本开始，timestamp的默认值已被标为deprecated，即如果类型为timestamp的字段，如果没有明确声明默认值为NULL，则默认为NOTNULL。如果设置timestamp字段为NULL，则自动存储当前的timestamp。

2)Can'tfinderror-messagefile'/usr/local/mysql/share/errmsg.sys'

执行MySQL的“bin/mysqld--initialize--user=mysql--explicit_defaults_for_timestamp”时报的错误。

这可能是因为之前有执行过，导致data目录不为空，通过“bin/mysqld--verbose--help|grepdatadir”可以查看到默认的数据目录为/var/lib/mysql/。需要保证/var/lib/mysql/目录为空。或者通过指定参数--datadir改变数据目录，如“bin/mysqld--initialize--user=mysql--explicit_defaults_for_timestamp--datadir=/data/mysql/data”。

3)Can'tfinderror-messagefile'/usr/local/mysql/share/errmsg.sys'

对于错误：

Can'tfinderror-messagefile'/usr/local/mysql/share/errmsg.sys'.Checkerror-messagefilelocationand'lc-messages-dir'configurationdirective.

从官网下载的MySQL默认安装目录为/usr/local/mysql，如果实际为其它目录，则建议通过参数--basedir指定，否则会遇到不少安装问题。通过执行“bin/mysqld--verbose--help|grepbasedir”即可看到“--basedir”的默认值为/usr/local/mysql/。

4)FailedtoconnecttotheMetaStoreServer

如果运行hiveserver2，遇到下列错误后，推荐打开DEBUG日志级别，以更查看更详细的信息，将日志配置文件hive-log4j.properties中的“hive.root.logger=WARN,DRFA”改成“hive.root.logger=DEBUG,WARN,DRFA”即可。

2014-04-2306:00:04,169WARNhive.metastore(HiveMetaStoreClient.java:open(291))-FailedtoconnecttotheMetaStoreServer...

2014-04-2306:00:05,173WARNhive.metastore(HiveMetaStoreClient.java:open(291))-FailedtoconnecttotheMetaStoreServer...

2014-04-2306:00:06,177WARNhive.metastore(HiveMetaStoreClient.java:open(291))-FailedtoconnecttotheMetaStoreServer...

2014-04-2306:00:07,181WARNhive.metastore(HiveMetaStoreClient.java:open(291))-FailedtoconnecttotheMetaStoreServer...

2014-04-2306:00:08,185WARNhive.metastore(HiveMetaStoreClient.java:open(291))-FailedtoconnecttotheMetaStoreServer...

2014-04-2306:00:09,194ERRORservice.CompositeService(CompositeService.java:start(74))-ErrorstartingservicesHiveServer2

org.apache.hive.service.ServiceException:UnabletoconnecttoMetaStore!

atorg.apache.hive.service.cli.CLIService.start(CLIService.java:85)

atorg.apache.hive.service.CompositeService.start(CompositeService.java:70)

atorg.apache.hive.service.server.HiveServer2.start(HiveServer2.java:73)

atorg.apache.hive.service.server.HiveServer2.main(HiveServer2.java:103)

atsun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethod)

atsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

atjava.lang.reflect.Method.invoke(Method.java:483)

atorg.apache.hadoop.util.RunJar.main(RunJar.java:212)

修改后，再次运行hiveserver2，日志变详细了，猜测是metastore没有起来，可以通过执行“hive--servicemetastore”来启动metastore。

2014-04-2306:04:27,053INFOhive.metastore(HiveMetaStoreClient.java:open(244))-TryingtoconnecttometastorewithURIthrift://172.25.40.171:9083

2014-04-2306:04:27,085WARNhive.metastore(HiveMetaStoreClient.java:open(288))-FailedtoconnecttotheMetaStoreServer...

org.apache.thrift.transport.TTransportException:java.net.ConnectException:拒绝连接

atorg.apache.thrift.transport.TSocket.open(TSocket.java:185)

atorg.apache.hadoop.hive.metastore.HiveMetaStoreClient.open(HiveMetaStoreClient.java:283)

atorg.apache.hadoop.hive.metastore.HiveMetaStoreClient.(HiveMetaStoreClient.java:164)

atorg.apache.hadoop.hive.metastore.HiveMetaStoreClient.(HiveMetaStoreClient.java:104)

atorg.apache.hive.service.cli.CLIService.start(CLIService.java:82)

atorg.apache.hive.service.CompositeService.start(CompositeService.java:70)

atorg.apache.hive.service.server.HiveServer2.start(HiveServer2.java:73)

atorg.apache.hive.service.server.HiveServer2.main(HiveServer2.java:103)

atsun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethod)

atsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

atjava.lang.reflect.Method.invoke(Method.java:483)

atorg.apache.hadoop.util.RunJar.main(RunJar.java:212)

5)Versioninformationnotfoundinmetastore

执行“./hive--servicemetastore”报下面这样的错误原因是未对metastore进行初始化，需要执行一次“schematool-dbTypemysql-initSchema”。

SLF4J:Actualbindingisoftype[org.slf4j.impl.Log4jLoggerFactory]

MetaException(message:Versioninformationnotfoundinmetastore.)

atorg.apache.hadoop.hive.metastore.ObjectStore.checkSchema(ObjectStore.java:5638)

atorg.apache.hadoop.hive.metastore.ObjectStore.verifySchema(ObjectStore.java:5622)

atsun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethod)

atsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

atjava.lang.reflect.Method.invoke(Method.java:483)

atorg.apache.hadoop.hive.metastore.RetryingRawStore.invoke(RetryingRawStore.java:124)

atcom.sun.proxy.$Proxy2.verifySchema(UnknownSource)

atorg.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:403)

atorg.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:441)

atorg.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:326)

atorg.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.(HiveMetaStore.java:286)

atorg.apache.hadoop.hive.metastore.RetryingHMSHandler.(RetryingHMSHandler.java:54)

atorg.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:59)

atorg.apache.hadoop.hive.metastore.HiveMetaStore.newHMSHandler(HiveMetaStore.java:4060)

atorg.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:4263)

atorg.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:4197)

atsun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethod)

atsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

atjava.lang.reflect.Method.invoke(Method.java:483)

atorg.apache.hadoop.util.RunJar.main(RunJar.java:212)

6)java.net.URISyntaxException:RelativepathinabsoluteURI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D

解决办法：将hive-site.xml中所有的system:java.io.tmpdir都换成绝对路径，hive-1.2.1共有4处。

7)EstablishingSSLconnectionwithoutserver'sidentityverificationisnotrecommended

问题现象：

WedFeb1710:39:37CST2016WARN:EstablishingSSLconnectionwithoutserver'sidentityverificationisnotrecommended.AccordingtoMySQL5.5.45+,5.6.26+and5.7.6+requirementsSSLconnectionmustbeestablishedbydefaultifexplicitoptionisn'tset.ForcompliancewithexistingapplicationsnotusingSSLtheverifyServerCertificatepropertyissetto'false'.YouneedeithertoexplicitlydisableSSLbysettinguseSSL=false,orsetuseSSL=trueandprovidetruststoreforservercertificateverification.

解决办法是hive-site.xml中的配置项javax.jdo.option.ConnectionURL值需要加上“useSSL=false”，如：

jdbc:mysql://127.0.0.1:3306/hive?characterEncoding=UTF-8;useSSL=false。

8)SPARK_CLASSPATHwasdetected

SPARK_CLASSPATHwasdetected(setto'/data/hadoop/hive/lib/mysql-connector-java-5.1.38-bin.jar:').

ThisisdeprecatedinSpark1.0+.

Pleaseinsteaduse:

-./spark-submitwith--driver-class-pathtoaugmentthedriverclasspath

-spark.executor.extraClassPathtoaugmenttheexecutorclasspath

意思是不推荐在spark-env.sh中设置环境变量SPARK_CLASSPATH，可以改成如下推荐的方式：

./spark-sql--masteryarn--driver-class-path/data/hadoop/hive/lib/mysql-connector-java-5.1.38-bin.jar